Il palazzo venne acquistato a metà Quattrocento da Bartolomeo Pastorio, ed è celebre per aver ospitato Henry Dunant nel Giugno del 1859, il giorno che seguì l’inizio la battaglia di Solferino e San Martino. All’interno si può ammirare la “Sala dei Paesaggi”, caratterizzata da una volta a vele tardo rinascimentale e ornata, tra la fine del Settecento e l’inizio dell’Ottocento, da una serie di vedute a monocromo