Der Bau des Convento di San Francesco in Colle Val d'Elsa geht auf die erste Hälfte des 13. Jahrhunderts zurück, als Gregor IX. eine päpstliche Bulle erließ, die den Prior der Dominikaner von Siena beauftragte, den ersten Stein des Gebäudes zu segnen. Das Kloster in Colle geht auf das Jahr 1229 zurück und ist damit eine der ersten Franziskaner-Niederlassungen in der Toskana.
Das Gebäude, das auf einer kleinen Anhöhe gegenüber dem Dorf errichtet wurde, blieb bis in die 30er Jahre des 14. Jahrhunderts, als die Brücke, die es ursprünglich mit der Ortschaft Colle Val d'Elsa verband, gebaut wurde, isoliert.
Zu Beginn seiner Errichtung wurde das Kloster nach den typisch franziskanischen Kriterien der Einfachheit, der Strenge und des Pauperismus erbaut, doch im Laufe der Jahrhunderte erfuhr es zahlreiche Umbauten. 1485 erfolgte der erste, nachdem die Truppen des Herzogs Alfonso von Kalabrien, die Colle Val d'Elsa einige Jahre zuvor belagert hatten, Schäden verursacht hatten.
Eine weitere Restaurierung fand im 18. Jahrhundert statt, als die prächtigen Glasfenster entfernt und nach Colle Alta und in den Dom von Siena gebracht wurden; anschließend wurde das Kloster einige Jahre lang als Krankenhaus genutzt.
Eine letzte Restaurierungsphase in den 1990er Jahren brachte einige der ursprünglichen Fresken zum Vorschein, von denen einige Cennino Cennini, Giovanni Maria Tolosani und Pier Francesco Fiorentino zugeschrieben werden.
Heute ist das Kloster di San Francesco von außen schlicht, während das Innere - mit seinem länglichen Grundriss - Zeichen der Restaurierung und Modernisierung aufweist. Vier große Spitzbogenöffnungen, die an den gotischen Stil erinnern, zeugen von der Position der ursprünglichen Glasfenster, während zahlreiche Fresken an der Gegenfassade, hinter den Altären und an den Seitenwänden zu bewundern sind.
Das Gebäude beherbergt das Centro Tabor, eine Rast- und Beherbungseinrichtung für Pilger, die die Via Francigena überqueren.