Die Geschichte von Altopascio und seinen Mauern geht Hand in Hand mit der baulichen und politischen Entwicklung des Hospitals und dem ständigen Anstieg der Zahl der Pilger, die auf der Via Francigena in das Gebiet von Altopascio kamen.
Die Mauern, die die in der zweiten Hälfte des 11. Jahrhunderts gegründete Siedlung umschließen, wurden im Laufe der Jahrhunderte umgestaltet, vergrößert und verändert, bis sie eins mit den umliegenden Häusern und dem Ortskern wurden, dessen Großteil sie umfassen. Ein beeindruckender Teil der Mauer ist an der Nordseite des Dorfes noch deutlich zu sehen, wo die ursprünglichen Schießscharten der Armbrustschützen noch zu erkennen sind.
Ursprünglich hatten die starken Mauern zusammen mit dem Hospital, dem Glockenturm und der Kirche San Jacopo das Aussehen einer kleinen Festung. Die erste Befestigungsanlage wurde zur Zeit der Gründung des Hospitals (Domus Hospitalis Sancti Iacobi de Altopassu) errichtet, das an einer wichtigen Durchgangsstraße lag. Später wurden mehrere Tore geöffnet, um den Pilgerstrom zu erleichtern: die Porta Fiorentina oder Porta dell'Osteria (heute Porta Vettori), die Porta Pesciatina oder Porta del Mulino (heute Porta dei Mariani), die Porta degli Ospedalieri, Porta della Torre Campanaria oder Porta del Campanile (später abgerissen), Porta del Padule und Porta del Giardino. Außerdem wurden die Eingänge so angelegt, dass sie von ebenso vielen Türmen verteidigt werden konnten, die mit Ausnahme des Glockenturms alle in die Gebäude integriert wurden, wobei an einem Stein der Außenwand des Turms noch heute das alte Symbol der Tau-Ritter zu erkennen ist.
Wissenwertes zur Porta Mariani: Sie wurde Porta Pesciatina oder Porta del Mulino genannt, weil sie zur Mühle und zur Straße nach Pescia führte. Die Mühle war Eigentum des Hospitals und wurde durch ein Wassersystem gespeist, das Wasser aus dem kleinen See von Sibolla, dem heutigen Naturschutzgebiet des Sibolla-Sees, und aus der Pescia di Collodi bezog.