El Palacio de los Vicarios de Scarperia, del siglo XIV, ha sido objeto de numerosas restauraciones y transformaciones a lo largo de los siglos. En la fachada del palacio se conservan vestigios del poder de los Médici, con los escudos que recuerdan a los diferentes miembros de la familia que ocuparon la importante posición republicana en distintas épocas. El edificio consta de un cuerpo central macizo y alargado con estructuras en salidizo (por la moderna restauración del tramo que da a la plaza) y con de una base en talud.
En el interior del Palacio también se puede admirar un magnífico fresco de la Escuela de Ghirlandaio de 1501, así como el antiguo reloj del campanario, obra del genio de Filippo Brunelleschi.