Das Castel di Pietra in Gavorrano wurde im späten Mittelalter auf einem Felsen erbaut, der die Ebene von Grosseto und die Colline Metallifere (Metallhügel) beherrscht, und war immer von strategischer Bedeutung für die Adelsfamilien, die es bewohnten.
Dank der archäologischen Ausgrabungen, die zwischen 1997 und 2007 durchgeführt wurden, konnten einige charakteristische Elemente wie Mauern und die Überreste eines kleinen Turms, der den Kern der gesamten Anlage bildete, freigelegt werden. Weitere Überreste sind große quadratische Kalksteinblöcke und ein nach Osten ausgerichteter Turm, der einen Felsen überragt und zur Überwachung des Geländes zu Verteidigungszwecken diente.
Eine interessante Kuriosität des Castel di Pietra ist die Tatsache, dass es wahrscheinlich der Ort war, an dem Pia de Tolomei starb, dieselbe Pia, die Dante in der Göttlichen Komödie erwähnt. Pia war die Frau von Nello d'Inghiramo dei Pannocchieschi, Besitzer des Schlosses und bedeutender Politiker der damaligen Zeit. Nello, der für sein aufbrausendes Temperament bekannt war, verliebte sich in Margherita Aldobrandeschi und ließ um 1300 seine Frau Pia in Castel di Pietra ermorden, um die andere Frau zu heiraten.
Der tragische Tod von Pia de Tolomei wird jedes Jahr am ersten Samstag im August in Gavorrano mit einem Kostümfest gefeiert, dem „Salto della Contessa“ (Sprung der Gräfin). Der Name leitet sich von der Tatsache ab, dass Pia angeblich beim Sturz vom höchsten Turm des Schlosses ums Leben kam.
Castel di Pietra ist heute Teil des Nationalparks Colline Metallifere bei Grosseto.