Dans le parc d’Epinal près de la Maison du Bailli se dresse la tour d’angle sud, un des vestiges des remparts urbains qui entourent Gembloux au Moyen Âge. Des substructions de fortifications antérieures au 12e siècle ont également été mises au jour au cours de fouilles.
Avant 1430 et l’unification sous l’autorité du duc de Bourgogne, Philippe le Bon, Gembloux se situe à la limite du duché de Brabant, auquel il appartient, et du comté de Namur. Gembloux constitue d’ailleurs une pomme de discorde entre ces deux principautés rivales. A plusieurs reprises au cours du 12e siècle, le comte de Namur vient assiéger et saccager Gembloux.
En 1152, le futur empereur du Saint-Empire, Frédéric Barberousse octroie à Gembloux une charte par laquelle il l’autorise à s’entourer de remparts. Ceux-ci présentent une longueur approximative d’un kilomètre, englobent une superficie d’environ sept hectares, sont percés initialement de quatre portes et flanqués de plusieurs tours. Outre cette tour d’angle sud subsistent encore de nos jours la tour d’angle nord dénommée de manière anachronique tour des Sarrasins et un pan de mur à proximité de la conciergerie de l’ancienne abbaye.