Villa San Martino liegt in der gleichnamigen Ortschaft und wurde im Juni 1814 von Napoleon erworben, um daraus seine Sommerresidenz zu machen. Später wurde sie von Fürst Anatolius Demidoff gekauft, der dort eine imposante neoklassizistische Galerie errichten ließ, die heute eine Sammlung napoleonischer Drucke aus dem 19. Jahrhundert bewahrt.
Das antike Castello del Volterraio (Burg aus dem 12. Jahrhundert) steht oben auf einer Anhöhe an der Grenze zwischen den Gemeinden Portoferraio und Rio nell'Elba. Die Festung wurde auf einem Gipfel errichtet, der bereits Ende des 4. Jahrhunderts v. Chr. zu Verteidigungszwecken strategisch genutzt wurde und wurde später Teil des Verteidigungssystems der Insel, das von der Pisanischen Republik entwickelt wurde. Dank massiver Verstärkungsarbeiten, die um 1440 durchgeführt wurden, konnte die Festung dem Angriff der Türken im Jahr 1544 standhalten. Jahrhunderte später, im Jahr 1798, verstärkten französische Truppen, die in Portoferraio stationiert waren, die Garnison, doch ein Volksaufstand führte zur teilweisen Zerstörung des Komplexes, der dann endgültig aufgegeben wurde.
Im Gebiet von Portoferraio gibt es zahlreiche Sehenswürdigkeiten, darunter die schöne, im Stil der pisanischen Romanik erbaute Kirche Santo Stefano alle Trane, die antike Fortezza d’Altura Etrusca del Castiglione, das International Art Center Italo Bolano und der Giardino Botanico dell’Ottone. In der Gemeinde Portoferraio liegen darüber hinaus die Terme di San Giovanni, die einzigen Thermen auf Elba.
Portoferraio ist auch für alle, die das Meer lieben, ein perfektes Reiseziel, denn das Gemeindegebiet bietet eine schöne Auswahl an Stränden. Darunter die Sandstrände von Scaglieri und Forno, die Sand- und Kieselstrände von Bagnaia, Ottone, Le Viste, Viticcio und Le Ghiaie und schließlich die Kieselsstrände von Magazzini, Capo Bianco und Seccione. Von Portoferraio aus erreichen Sie leicht alle Strände der Insel Elba, wunderbare Ufer mit sandigem Meeresboden bis hin zu Buchten, die steil zum tiefblauen Meer abfallen.