1577 ging die Villa in den Besitz der Salviati über und zwischen 1610 und 1614 lebte in einem der Räume auf der Ostseite Galileo Galilei. Er war ein Freund von Filippo Salviati, der in Padua sein Schüler gewesen war, und den der große Wissenschaftler in seinen Dialog über die beiden hauptsächliche Weltsysteme von 1632 aufnahm. Es heißt, dass Galilei hier die Jupitermonde entdeckte. In Wirklichkeit widmete er sich in der Villa Le Selve der "äußerst genauen Beobachtung" der Sonnenflecken, wie sein Schüler Vincenzo Viviani berichtete. In der Villa befindet sich ein interessantes Porträt des Wissenschaftlers in seinem Arbeitszimmer, während er nachdenkt, den Blick nach oben gerichtet.
Die Villa Le Selve wurde im Laufe der Jahrhunderte nur wenig verändert, mit Ausnahme eines dritten Eingangs unter einer Loggia, die für Kutschen gedacht war, und einer großen Uhr, die an der Nordseite angebracht wurde. Dieses Gebäude aus dem 16. Jahrhundert ist auch aufgrund der wunderschönen Umgebung bemerkenswert.