Entre la rue Elie Fréron et la rue des douves, protégé par les remparts Est de la ville, le jardin de la Retraite s'étend sur près d'un demi hectare.
La configuration du terrain a déterminé une série de jardins qui permettent une succession de points de vue ainsi que trois espaces très diversifiés qui communiquent entre eux par des marches ou des portes.