Le premier monastère des Récollets (1614) est établi à l’extérieur des fortifications, ce qui en fait une cible facile. De 1682 à 1685, le couvent est reconstruit à l’intérieur des remparts.
Il comprend une chapelle à laquelle est accolée un bâtiment formé de 4 ailes entourant une cour rectangulaire. Pendant la Révolution, le couvent est réquisitionné, les boiseries Louis XV qui décorent son chœur sont transférées à l’église Saint-Hilaire et les bâtiments sont attribués dès 1791 au Ministère de la guerre. L’armée l’utilise comme magasin jusqu’au XXe siècle.
L’église perd son clocher et tous les aménagements intérieurs. Seule la voûte en berceau transversal demeure.
On raconte qu’à l’âge de 10 ans, le « petit » Méhul, compositeur d’opéras né à Givet, touchait déjà l’orgue au couvent des Récollets. Une plaque concernant Méhul est d’ailleurs apposée en façade du bâtiment. Son talent devint assez remarquable pour attirer la foule et faire déserter l’église paroissiale. Méhul est l’auteur du « Chant du Départ ».