L’origine de l’église Saint-Hilaire, évêque de Poitiers et patron des marchands remonte à 832.
Malheureusement, un bombardement la détruit en 1675. Une reconstruction est alors entreprise en deux temps : la partie la plus large (côté façade actuelle) est terminée en 1682 (inscription sur le maître-autel) ; la nef et le chœur sont achevés en 1702 (date gravée dans la nef). Vauban en aurait effectué le tracé. Cependant, aucun document n’atteste qu’elle soit son œuvre.
Victor Hugo dans une lettre à un ami le 1er août 1842 décrit le clocher de Saint-Hilaire comme suit : « … Le brave architecte a pris un bonnet carré de prêtre ou d’avocat. Sur ce bonnet carré, il a échafaudé un saladier renversé ; sur le fond de ce saladier devenu plate-forme, il a posé un sucrier, une bouteille, sur la bouteille, un soleil emmanché dans le goulot par le rayon inférieur vertical ; et, enfin, sur le soleil, un coq embroché dans le rayon vertical supérieur. En supposant qu’il ait mis un jour à trouver chacune de ces idées, il se sera reposé le septième jour. »
Le passage voûté construit sous la sacristie (rue de la fausse porte) est une particularité caractéristique de cette église.