Gallardon est une ville fortifiée au XIIe siècle. Elle est entourée de murs d'enceinte qui s'ouvrent sur cinq portes : les portes Mouton, Notre-Dame de la Fontaine, de Chartres, de la Herse et Bretonnière. Un château fort et son donjon dominent la cité. Dans les années 1775, les portes sont démolies : leur matériau sert à l'empierrement des chaussées pour faciliter l'accès à la ville. Seule la porte Mouton subsiste jusqu'en 1848, date à laquelle elle est à son tour démolie à la suite d'une violente polémique qui aura duré six ans.