La construcción del Convento de San Francisco en Colle Val d'Elsa se remonta a la primera mitad del Siglo XIII, cuando Gregorio IX emitió una Bula Papal en la que delegaba en el Padre Prior de los Dominicos de Siena la bendición de la primera piedra del edificio. El convento de Colle,que data del 1229, es uno de los primeros asentamientos franciscanos en Toscana.
El edificio, construido en una pequeña elevación frente al pueblo, permaneció aislado hasta la década del 1430, cuando se levantó el puente que originalmente lo conectaba con la localidad de Colle Val d'Elsa.
Al principio de su construcción, el monasterio se edificó según los criterios típicos franciscanos de sencillez, austeridad y pobreza, pero a lo largo de los siglos sufrió numerosas reformas, la primera de las cuales tuvo lugar en el 1485 tras los daños causados por las tropas del Duque Alfonso de Calabria, que habían asediado Colle Val d'Elsa unos años antes.
En el Siglo XVIII se llevó a cabo una nueva restauración, cuando se retiraron las espléndidas vidrieras y se trasladaron a Colle Alta y a la Catedral de Siena; sucesivamente, el convento fue utilizado como hospital durante algunos años.
Una última fase de restauración en la década del 1990 sacó a la luz algunos de los frescos originales, algunos de los cuales se atribuyen a Cennino Cennini, Giovanni Maria Tolosani y Pier Francesco Fiorentino.
En la actualidad, el Convento de San Francisco se presenta sencillo en su exterior, mientras que el interior -con su disposición longitudinal- muestra las intervenciones de restauración y modernización. Cuatro grandes aberturas de arco apuntado, que recuerdan el estilo gótico, atestiguan la posición de las vidrieras originales, mientras que se pueden admirar numerosos frescos en la contrafachada, detrás de los altares y en las paredes laterales.
El edificio es la sede del Centro Tabor, un punto de avituallamiento y acogida para los peregrinos que atraviesan la Vía Francígena.