La nascita di San Giovanni d’Asso e del borgo che si formò raggruppato attorno all’antico castello e a quel gioiello romanico che è S. Pietro in Villore, risale all'alto Medioevo, nei secoli in cui si ebbe il fenomeno dell'incastellamento.
Questo castello è formato da tre corpi di fabbrica originati dall'unione di altre costruzioni innalzate nel corso dei secoli le quali racchiudono al loro interno un cortile. Le costruzioni, realizzate in pietra calcarea e mattoni risalgono a periodi diversi che vanno dalla metà del 1100 alla fine del 1400.
Il territorio di San Giovanni d’Asso, adagiato tra le sinuose Crete Senesi e l’affascinante Val d’Orcia, incorniciato tra splendidi oliveti, boschi, campi coltivati; è ricco di casali, piccoli borghi, pievi e castelli.
San Giovanni d’Asso è conosciuto principalmente per il suo pregiatissimo tartufo bianco.
Da sempre San Giovanni d’Asso ha “assunto” il proprio tartufo quale testimonial d’eccellenza della migliore qualità del vivere valorizzando, l’aspetto meno conosciuto del misterioso e pregiato tubero: il suo essere severa sentinella ambientale.
Questo piccolo borgo medioevale ha dedicato a questo pregiato tubero il primo Museo del Tartufo d’Italia, la cui visita è un’esperienza per tutti i sensi, e lo celebra ogni anno, il secondo e terzo fine settimana di novembre, con la Mostra Mercato del Tartufo Bianco delle Crete Senesi.