Der Ort Castiglione di Garfagnana ist auf 540 Metern Höhe gelegen und kontrollierte dank seiner strategisch günstigen Lage den Weg nach San Pellegrino, den sogenannten Passo delle Radici (Wurzelpass), und in die Provinz Modena. Aus diesem Grund wurde er schon in der Antike befestigt: Zuerst bauten die Römer auf einem Felsvorsprung im höchstgelegenen Teil der Ortschaft das Castrum Leonis, welches die Longobarden später erweiterten.
Die Burg hatte ein bewegtes Leben: 1170 wurde sie von Truppen aus Lucca belagert, die sie schließlich eroberten und teilweise zerstörten, 15 Jahre später wurde sie von den Lehnsherren wieder aufgebaut, aber als Castiglione erneut gegen Lucca in den Kampf zog, kehrten dessen Truppen zurück und machten die Anlage dieses Mal dem Erdboden gleich.
1230 bauten die Leute aus Castiglione die Befestigung erneut auf, aber schon 1277 befand sich der Ort wieder mitten im Kampfgebiet der Kriege, die unablässig in der Garfagnana tobten. So wurde sie erneut von Truppen aus Lucca belagert und ein drittes Mal zerstört.
Nachdem die Söhne von Castruccio Castracane, die die Burg im Juni 1370 kurzzeitig besetzt hatten, verjagt worden waren, riss Lucca Castiglione endgültig an sich und stattete die Befestigung mit fünf Wehrtürmen aus, die die Namen Brunella, dell’Orologio, San Michele, del Fattori und San Pietro erhielten – bei letzterem erhebt sich die Burg, die über Gänge mit der Außenwelt verbunden ist.
1610 verteidigte sich Castiglione gegen den Angriff aus Modena und überstand auch die erneute Belagerung 1613, danach erlebte es eine lange Zeit des Friedens.
Die heutige Anlage geht auf das 14. Jahrhundert zurück, als die Ummauerung auf 750 m Länge und 11 bis 17 m Höhe ausgebaut wurde.