Le Château St Gilles domine la ville. En 1103, Raymond VI de St Gilles, Comte de Toulouse, ordonna la construction de cette forteresse dominant la ville qu'il avait conquise l'année précédente. Cette citadelle subit de nombreuses mésaventures mais fut régulièrement reconstruite par les Mamelouks puis les Ottomans.