Secondo la tradizione la costruzione della chiesa di S.Maria di Carpi risale al 752, per interessamento del re longobardo Astolfo.

Il documento più antico attestante l’esistenza della chiesa di S.Maria di Carpi risale al IX secolo. “Si tratta di una lettera indirizzata nell’anno 879 dal pontefice Giovanni VIII al vescovo di Reggio perché si prendesse cura del restauro della chiesa che era stata distrutta da un incendio e nello stesso tempo inviasse il sacro crisma per la consacrazione del fonte battesimale.”

L’interessamento della curia romana verso una chiesa rurale lascia intendere che avesse una certa importanza. Da un successivo diploma di Berengario I databile tra il 916 e il 924 si apprende che la chiesa di S.Maria è collocata all’interno delle difese del castrum di Carpi.

E’ quindi ricordata in diversi documenti del X-XII secolo con il titolo di pieve “con a capo un arciprete, officiata da un collegio di canonici e con un piccolo territorio ad essa soggetto comprendente le cappelle di S.Nicolò, S.Lorenzo di Gargallo, S.Biagio di San Marino”.

Nel 1001 i Canossa divengono signori del castello di Carpi. All’inizio del XII secolo Matilde di Canossa sostiene l’arciprete Federico nella disputa per l’autonomia della chiesa di Carpi dal vescovo di Reggio Emilia) consentendole di esercitare “un diretto controllo su un territorio fedele alla causa del papato posto come un cuneo in modo strategico tra i vescovati di Reggio e Modena, che non nascondevano preferenze e simpatie verso il partito imperiale”

E’ in quegli anni che la chiesa di S.Maria viene ricostruita nelle forme romaniche, con pianta basilicale divisa da colonne in tre navate terminanti in altrettante conche absidali Lo schema ornamentale dell’esterno dell’abside richiama quello del Duomo di Modena, ma anche dell’Abbazia di Nonantola.

Si conservano pochi elementi scultorei di quel periodo. All’esterno si evidenzia il portale, inserito nella facciata cinquecentesca, ma in origine avente una diversa collocazione (proviene dalla porta della fiancata settentrionale demolita nel 1514).

L’edificio romanico era composto da tre navate: quella principale era larga dodici braccia mentre quelle laterali, otto. Di otto braccia era anche l’interasse tra le colonne. Questo schema era molto utile per garantire la precisione della fase costruttiva perché il rettangolo 12 X 8 consente di verificare l’esattezza degli angoli retti controllando la misura della diagonale, come si vede in figura.

L’intero edificio è racchiuso in un rettangolo di 28 X 56 braccia (due quadrati affiancati). Questa proporzione si ritrova anche nella lunetta di facciata e nelle finestre delle navate laterali.