Situato nella valle del Paglia, Castel Viscardo ha origini nel XIII secolo, quando Guiscardo da Pietrasanta, nipote di Urbano IV, diede inizio alla costruzione del castello.

Ed è proprio sul castello che gravita una leggenda suggestiva: quella della "dama bianca", una nobildonna a cui il castello appartenne, la quale si aggira ancora nelle sue stanze nelle notti di plenilunio.
Da citare, la Chiesa parrocchiale, nella quale si possono ammirare un crocifisso in avorio, donato dal Re Sole, Luigi XIV, ad un nunzio apostolico della famiglia Spada, e la bandiera di una nave turca, bottino di guerra di una spedizione di un altro componente degli Spada.
A Castel Viscardo, nel XVI secolo, era rilevante la produzione di laterizi: ne sono testimonianza le fornaci, che hanno prodotto materia prima per lavori di restauro di importanti monumenti come il Colosseo, Piazza del Campo a Siena ed altri.