En avril 1555, Charles Quint fait acheter par sa sœur Marie de Hongrie, régente des Pays-Bas, le domaine d’Agimont. Il décide de bâtir à la pointe est d’une colline escarpée dominant Givet, un fort qui portera son nom.
Par le traité de Nimègue en 1678, Givet et Charlemont deviennent français. En 1680, Louis XIV visite ses acquisitions nouvelles et demande à Vauban un premier projet pour les fortifications de Givet. Charlemont est agrandi et gratifié d’une nouvelle enceinte. Durant plusieurs décennies, différents conflits se déroulent en ce lieu.
Il est le témoin de la retraite du maréchal Grouchy et de ses troupes le 21 et 22 juin 1815 et jouera un rôle important dans la suite de l’histoire :
Le maréchal Grouchy quitte Givet le 22 juin, laissant le fort de Charlemont sous le commandement du lieutenant général Bourke, gouverneur des lieux. Ce dernier se retrouve alors isolé de toute communication avec ses supérieurs, à la tête de 4000 gardes nationaux peu entrainés, dont le moral est au plus bas après avoir vu les troupes de Grouchy battant en retraite. Les caisses sont vides et le gouverneur doit recourir à l’emprunt et à la vente de biens pour payer la troupe. Les désertions vont bon train. La situation est délicate. Lorsque les soldats prussiens arrivent à Givet, le prince Auguste de Prusse profite de la capitulation de Paris pour mettre la pression et exiger la capitulation du fort. Cependant, Bourke résiste et demande à pouvoir prendre des nouvelles auprès du roi de France de retour à Paris. Le prince de Prusse refuse. Le gouverneur envoie toutefois des messagers en secret. Le 30 juillet il reçoit ordre de tout faire pour conserver cette place au roi de France. La résistance de Bourke va permettre de tenir la place jusqu’au 20 novembre, date à laquelle Louis XVIII signe le traité de Paris qui scelle la future occupation de Givet par les Russes. Le traité prévoit que les Russes rendront la ville aux Français deux ans plus tard.
Jusqu’en juillet 2009, le Fort abrite un Centre d’Entraînement Commando.
En 2010, il est fermé au public, mais il devra connaitre un renouveau touristique avec son rachat par la communauté de communes. Aujourd’hui, des activités récréatives et sportives y sont proposées. Dès l’été 2015, des visites guidées historiques seront organisées et dès 2016 le site sera librement accessible au public.