Het gebouw werd opgetrokken in de zestiende eeuw op de plaats van het vroegere huis van de koning of «vieux château» (oud kasteel) dat in de vijftiende eeuw afbrandde. Een open brief uit 1662 refereert naar dat gebouw, waaraan het nieuwe gebouw zich misschien spiegelt. 

Inderdaad spreken koninklijke brieven van augustus 1662 over het kasteel dat de gouverneurs bewoonden wanneer ze in Aigues-Mortes verbleven, en dat de gevangenis van de markies van Wardes werd. De brieven leren ons dat dit gebouw sinds enkele jaren heropgebouwd werd door gouverneur de Civey, met fondsen die voor de bouw van kazernes bestemd waren. 

De constructie die voortdurend verbouwd werd tussen de zestiende en zeventiende eeuw, behoudt een mooie trap met vier centrale kolommen, daterend van 1662. 

De gouverneurswoning heeft aan de noordwestelijke zijde een ronde toren en aan de westkant een rechthoekig torentje die de toegang bewaakt naar de brug die naar de Constancetoren leidt. Deze brug en de gebogen muur die de uiteinden van de omwalling verbindt, zijn in de zestiende eeuw toegevoegd. Daarmee verdween de oude stadsmuur.  

De gouverneurswoning is afgescheiden van de stad en de Place d’Armes door een verschansingsmuur die van 1625 dateert. Deze muur, geflankeerd door een wachttoren, is gebouwd met herbruikte materialen van de omwalling uit de dertiende eeuw (hiervan getuigen de merktekens van de bouwmeesters die in de stenen gegraveerd zijn).  
De muur draagt een rondgang met borstwering voorzien van schietgaten die geschikt zijn voor het schieten met een haakbus.