La parte sud est del complesso del Palazzo dei Pio, nel quale si trova anche l'Archivio Storico, è occupata dalla cosiddetta Rocca Vecchia. La definizione della struttura architettonica è strettamente connessa alla fase di sviluppo delle residenze dei Pio intorno alla metà del Quattrocento e si deve ritenere che il corpo della fabbrica sia da mettere in relazione con la costruzione del Torrione degli Spagnoli. Il nome fa riferimento a un edificio più antico che lì si doveva trovare, forse una precedente rocca di cui rimangono le tracce, benché modifiche e integrazioni abbiano parzialmente cambiato la forma originaria. Sulla facciata orientale sono infatti ben visibili brani di decorazioni esterne e soprattutto i rilievi degli antichi merli di un edificio che doveva avere una qualche funzione difensiva.
All'interno della Rocca, è presente la Sala dei Cimieri, oggi utilizzata come sala didattica e conferenze, caratterizzata da una bella decorazione ad affresco quattrocentesca con giganteschi cimieri e un fregio a motivi vegetali con pigne dorate, simbolo dei Pio, che rimanda a decorazioni di tema araldico e celebrativo presenti nel Torrione degli Spagnoli. La Sala contiene gli armadi lignei azzurri settecenteschi dell'Archivio Notarile Mandamentale, restaurati da Gaetano Carro di Modena, che ospitano la documentazione notarile dal XIII secolo fino ai primi anni Trenta del Novecento.
Collocato in precedenza in diverse sedi nelle immediate vicinanze del Comune e all'interno del Palazzo, nel novembre del 1999 - conclusisi i lavori di restauro su progetto architettonico dell'arch. G. Gnoli e strutturale dell'ing. G. Serafini - l'Archivio Storico è stato definitivamente trasferito nell' ala ex-Carceri del Palazzo.