Construit à la fin du Moyen Âge au sommet d’une falaise pour dominer la plaine de Grosseto et les Colline Metallifere, Castel di Pietra est situé à Gavorrano et a toujours été d’une importance stratégique pour toutes les familles nobles qui l’ont habité.
Grâce à des fouilles archéologiques menées entre 1997 et 2007, il a été possible de mettre au jour certains éléments caractéristiques tels que des murs et les vestiges d’une petite tour, noyau principal de l’ensemble de la structure. D’autres vestiges comprennent de grandes pierres calcaires équarries et une tour orientée vers l’est, surplombant une falaise, qui servait à surveiller le territoire à des fins défensives.
Le château de Pietra présente une curiosité intéressante : il a probablement été le lieu de la mort de Pia de Tolomei, celle-là même que Dante mentionne dans la Divine Comédie. Pia était en fait l’épouse de Nello d’Inghiramo dei Pannocchieschi, propriétaire du château et éminent homme politique de l’époque. Nello, célèbre pour son tempérament violent, tomba amoureux de Margherita Aldobrandeschi et, vers 1300, à Castel di Pietra, ordonna le meurtre de sa femme Pia afin d’épouser l’autre femme.
Le souvenir de la mort tragique de Pia de Tolomei est célébré chaque année le premier samedi du mois d’août à Gavorrano par une reconstitution costumée appelée « Salto della Contessa » (Saut de la comtesse), dont le nom dérive du fait que Pia serait morte en tombant de la plus haute tour du château.
À ce jour, Castel di Pietra fait partie intégrante du parc national Colline Metallifere de Grosseto.