Situé dans la vallée du Paglia, Castel Viscardo a des origines datant du XIIIème sipcle, quand Guiscardo da Pietrasanta, neveu d'Urbano IV, donna le feu vert au commencement de la construction du château.

Et c'est justement à propos du château que l'on trouve une légende suggestive: celle de la "dame blanche", une noble dame à qui le château appartint, laquelle tourne encore dans les pièces les nuits de pleine lune.
A citer, l'église paroissiale, dans laquelle on peut admirer un crucifix en ivoire, donné par le Roi Soleil, Louis XIV, à un nonce apostolique de la famille Spada, et le drapeau d'un bateau turc, butin de guerre d'une expédition d'un autre membre des Spada.
A Castel Viscardo, au XVIème siècle, était importante la production de briques: en témoignent les fours, qui ont produit la matière première pour les travaux de restauration de monuments importants comme le Colisée, Piazza del Campo à Sienne et d'autres.