Le village de Castiglione Garfagnana, situé à 540 mètres au-dessus du niveau de la mer, contrôlait le passage vers San Pellegrino, le Passo delle Radici et la province de Modène grâce à sa position stratégique. C'est pourquoi il est fortifié depuis l'Antiquité : les premiers furent les Romains qui construisirent le Castrum Leonis, sur un éperon rocheux dans la partie la plus élevée du village, agrandi ensuite par les Lombards.
Le château a eu une vie mouvementée : en 1170, il a été assiégé par les Lucquois, qui ont réussi à le conquérir et l'ont partiellement détruit. Après 15 ans, il a été reconstruit par ses seigneurs féodaux, mais lorsque les Castiglionais ont repris les armes contre Lucques, les Lucquois sont revenus et l'ont cette fois rasé.
En 1230, les habitants de Castiglione reconstruisirent la fortification pour la énième fois, mais en 1277, la ville se retrouva à nouveau au centre des guerres continues qui faisaient rage en Garfagnana. Elle est assiégée par les Lucquois et détruite pour la troisième fois.
En juin 1370, les fils de Castruccio Castracane occupèrent le château pendant une courte période, et lorsqu'ils furent chassés, les Lucquois s'emparèrent définitivement de Castiglione, en le renforçant par cinq tours, appelées Brunella, Orologio, San Michele, Fattori et San Pietro, près desquelles se trouve la forteresse, avec des galeries communiquant avec l'extérieur.
En 1610, Castiglione se défendit contre l'attaque des Modénais, résistant à nouveau à leur siège en 1613, et à partir de là, le village connut une longue période de paix.
La structure actuelle date du XIVe siècle, lorsque les murs de la ville ont été étendus à 750 mètres de long et entre 11 et 17 mètres de haut.