Il palazzo è stato per tre volte soggetto ad attacchi da parte di militanti Sanfedisti del Cardinale Ruffo, dai briganti nel periodo post-unitario, negli anni 1861/1867 e durante la seconda guerra mondiale, precisamente a fine anno 1943, quando il negozio-emporio, posto al piano terra del palazzo, fu preso d’assalto dagli stessi cittadini sanpietresi.

Per difendersi da tali attacchi il manufatto era concepito come una roccaforte con muri di cinta alti e con due fori posti al di sopra dell’entrata principale, da cui buttare l’olio o l’acqua bollente su chi cercava di entrare.