La Villa San Martino está situada en el pueblo homónimo y fue comprada por Napoleón en junio de 1814 para convertirla en su residencia de verano; posteriormente fue adquirida por el príncipe Anatolio Demidoff, que hizo construir allí la imponente Galería neoclásica, que hoy alberga una colección de reproducciones napoleónicas del Siglo XIX
El antiguo Castillo de Volterraio (Siglo XII) está situado en la cima de una colina en la frontera entre los municipios de Portoferraio y Rio nell'Elba. Erigido en una cima que ya había sido explotada estratégicamente con fines defensivos a finales del Siglo IV a.C., Volterraio se convirtió posteriormente en parte del sistema defensivo de la isla ideado por la República de Pisa. Gracias a las imponentes obras de refuerzo realizadas alrededor del 1440, la fortaleza pudo resistir el asalto de los turcos en el 1544. Siglos más tarde, en el 1798, las tropas francesas emplazadas en Portoferraio reforzaron ulteriormente el presidio pero una insurrección popular llevó a la destrucción parcial del complejo, quedando desde ese momento definitivamente abandonado.
Hay muchas otras atracciones en Portoferraio: la hermosa y austera Iglesia románico-pisana de Santo Stefano alle Trane, la antiquísima Fortaleza Etrusca de Castiglione, elCentro Internacional de Arte de Italo Bolano y el Jardín Botánico de Ottone. En Portoferraio se encuentran también las Termas de San Giovanni, las únicas presentes en toda la Isla de Elba.
Además, Portoferraio es una excelente meta para los amantes del mar, con una variada oferta de playas, desde aquellas de arena de Scaglieri y Forno, pasando por las mixtas de arena y grava de Bagnaia, Ottone, Le Viste, Viticcio y Le Ghiaie, hasta las de guijarros de Magazzini, Capo Bianco y Seccione. Desde Portoferraio es fácil llegar a todas las playas de la Isla de Elba, espléndidas costas con fondos de arena y calas con vistas al mar azul profundo.