Il Palazzo dei Vicari di Scarperia, di impianto trecentesco, ha subìto nel corso dei secoli numerosi restauri e trasformazioni. La facciata del palazzo raccoglie ancora oggi le tracce del potere dei Medici, con gli stemmi esposti che ricordano i diversi membri della famiglia che ricoprirono in tempi diversi l'importante carica repubblicana. L'edificio è costituito da un massiccio ed allungato corpo centrale munito di apparati a sporgere (dovuti, sul tratto prospiciente la Piazza, ad un intervento di restauro moderno) e dotato di base a scarpa.
All’interno del Palazzo si può ammirare anche un magnifico affresco della scuola del Ghirlandaio, del 1501, nonché l’antico orologio della torre campanaria, opera del genio di Filippo Brunelleschi.