De straat ligt aan de binnenzijde van de stadsmuur van 1229. Gracht in de naam verwijst niet naar de gracht voor de muur, maar waarschijnlijk naar de oorspronkelijke aanaarding van de muur (zie het woord "graft").