Rue d'origine médiévale percée selon Alfred Lallemand en 1429 lors de l'ouverture de la porte Notre-Dame, anciennement porte du Bali et qui relie cette dernière à la cathédrale en longeant le château de la Motte puis le palais épiscopal, puis la Préfecture, côté est. D'après Lallemand, elle avait pour rôle de mettre en communication l'enceinte murée avec le Bourg Maria et la paroisse Notre-Dame du Menez (la porte du Nord, aujourd'hui porte Saint-Jean n'ayant été percée qu'au 17e siècle, en 1688).
La rue est au 16e siècle contenue dans le bastion de terre aménagé à cette époque par la ville pour renforcer son enceinte devant la porte Notre-Dame. Elle se prolonge au delà de la place Mein-Guèvr (place Henri IV) et du "placis" Saint-Pierre par la rue de la Monnaie. Elle prend le nom de rue de la Préfecture au début du 19e siècle et en 1886 celui de l'Hôtel de Ville qu'elle dessert. A partir du 17e siècle (1622 et 1623), une série d'afféagements concernant des emplacements de boutique entre les deux portes sont concédés à charge pour les interessés de faire des boutiques en bois, sans maçonnerie, ni cheminée et sans possibilité d'y loger. La partie de la rue entre les deux portes est à une certaine époque la rue dite rue de la Juiverie sans doute parce qu'on y enfermait les juifs durant la nuit.