In origine era composto da una chiesa piccola e semplice, con annesso convento sul lato meridionale. Il campanile è sempre stato nella posizione attuale, come confermato da alcuni elementi architettonici gotici.
Fra il XIII e il XV secolo l'originario spazio tripartito viene modificato in un'unica grande navata, rappresentativa del crescente ruolo dei domenicani e funzionale alla predicazione.
In epoca rinascimentale e barocca la chiesa è interessata da importanti opere di abbellimento, decorazione e arredo. E' di questo periodo la ricca decorazione della cappella Albicini.
Lo stato attuale è in gran parte frutto dell'intervento settecentesco, di impostazione neoclassica.
In età napoleonica la chiesa resta conservata e aperta al culto. Con la restaurazione rientrano i domenicani, ma nel 1867 la chiesa viene chiusa, spogliata e trasformata in maneggio militare. Inizia una fase di degrado, che culmina con l'abbandono ed il crollo (1978) di parte della copertura e della facciata meridionale. Negli anni '90, il Comune avvia il processo di graduale recupero che ha portato al completo restauro.

L' Ex Chiesa di San Giacomo è accessibile a tutti