Nel 1412 divenne residenza della famiglia degli Ordelaffi e fu oggetto di diversi rimaneggiamenti e ampliamenti nel corso dei secoli. Il disegno dell'attuale facciata, opera degli ingegneri Gottardo Perseguiti e Giovanni Bertoni, risale al periodo nel quale fu Legato Pontificio il Cardinale Sanseverino (1812-1826).
All'interno, lo scalone conduce a uno stretto ballatoio da cui è possibile accedere alle varie sale tutte riccamente affrescate collocate al primo piano. Interessante la Sala del Consiglio Comunale, o Sala dei Fasti, progettata dal Bibiena (1761).
Le opere pittoriche sono abilmente inserite in un contesto architettonico a trompe-l'oeil, raffigurante colonne, balconi, balaustre, finestre e cornici.
All’interno del palazzo sono conservati gli affreschi di Felice Giani (1809) e di Francesco Menzocchi (1563).
Alle spalle del Palazzo Comunale, nell'elegante Piazzetta della Misura, si trova la Torre Civica. Edificata in data imprecisata, venne fatta crollare nel 1944 dai tedeschi in ritirata, travolgendo e distruggendo completamente anche il Teatro Comunale. Ricostruita nel 1977, è visitabile solo esternamente.

Situato in Piazza Saffi, in fondo a Corso della Repubblica, è raggiungibile in autobus (linee 1, 2, 3, 4) e in auto (parcheggi a pagamento nelle immediate vicinanze, in Piazza XX Settembre e Piazza del Carmine).

Per consentire l'accesso alle persone con disabilità, ci sono tre ascensori situati sotto il Voltone del Comune, in Via delle Torri 3 ed in Via delle Torri 13.