L’edificazione della struttura originaria è databile attorno all’anno Mille, operata per dotare il centro urbano di un fortilizio difensivo attorno a cui svilupparlo. Il restauro cinquecentesco segna la perdita di buona parte dei connotati del castrum, testimoniati dai bastioni esterni e da poco altro, per mutare in residenza nobiliare; ampliato e reso più confortevole, al palazzo si accede da un ampio e maestoso portale. Simbolo monumentale del paese, accoglie il visitatore e condivide un pezzo di memoria di Ripalimosani.