Construido en una posición estratégica para controlar el paso homónimo, el pueblo Serravalle Pistoiese aún conserva una estructura urbana con característica medieval, dominada por los restos de las dos fortalezas, la occidental y aquella más antigua oriental. Primero dominio de Pistoia, luego de Lucca y después, tras sucesos alternos, de Florencia desde el 1351, se constata la existencia del castillo desde el 1148, pero el aspecto actual es sustancialmente del siglo XIV.
El fuerte de Castruccio, también llamado"Fuerte Nuevo" para distinguirlo de la parte más antigua de las fortificaciones de Serravalle, fue construida por la población de Lucca después de la conquista del Castillo por parte de Morello Malaspina en el 1302, y completada por Uguccione della Faggiola y luego por Castruccio Castracani.
El castillo, de planta casi triangular, surge en el extremo occidental de la ciudad, caracterizándose por su perfil con dos bastiones de esquina de planta cuadrada (uno de los cuales también es accesible, teniendo precaución) y la bella torre hexagonal de sillares bien escuadrados restaurada a mediados de la década de los noventa. De la parte opuesta del pueblo se encuentra, aunque sin coronamiento, se encuentra la sólida Torre de Barbarossa de piedra caliza, el torreón del antiguo fuerte del siglo XII construido por la población de Pistoia en el 1177 para controlar el tránsito en el paso. Antiguamente, las dos fortificaciones estaban unidas por una pasarela que controlaba el recinto amurallado, y los restos del perímetro defensivo y las torres del fuerte oriental aún se podían ver hasta finales del siglo XVIII.
Actualmente del antiguo recinto amurallado en Serravalle permanece un pequeño tramo, donde se conserva todavía la "Puerta Gabella", desde la cual se puede descender hacia el pequeño pueblo Gabella Vecchia, un antiguo puesto de aduanas a los pies del castillo.