Nel 1385 appartenne a Giovanni e Marco Dolzani, passò per le mani degli Anguissola e nel 1431 in quelle di Gian Francesco della Veggiola che ampliò il fortilizio trasformandolo in una elegante residenza come testimonia l’epigrafe presente in facciata: Haec sibi posterisque Johannes Franciscus Vigiola comes aedificavit aedes. Dopo l’impiccagione per sospetto tradimento nel 1447, la torre passò ai Paveri-Fontana e verso la fine del ’700 ai Rizzi