Casole d'Elsa, un antiguo asentamiento Etrusco, es un pueblo situado en la parte posterior de una colina que ofrece a los visitantes una vista panorámica de la campaña de Siena. En los siglos XI y XII, fue una disputa de los Obispos de Volterra y en el 1260 pasó bajo el dominio de Siena. Al ser un lugar de interés estratégico, para defenderlo de ataques externos, fue necesario posteriormente construir nuevas fortificaciones, incluyendo dos torres redondas que aún existen, adoptando las características de un pueblo rodeado por su recinto amurallado.
El pueblo medieval también ha sido galardonado con la Bandera Naranja del Touring Club.