L'évêché situé depuis la Révolution dans l'ancien couvent des Carmes est transféré à cet endroit en 1907 après la séparation de l'église et de l'Etat. L'immeuble est construit vers 1900 par la famille Mahuas sur le jardin d'une maison figurant sur les plans cadastraux de 1809 et 1844, datant du 17e siècle, située à l'angle de la rue Salle d'Asile et conservée. Cette maison qui appartenait en 1875 (plan du quartier Corvaisier) à M. Vitel, a été détruite en 1997 pour y construire un immeuble qui intègre également les jardins de l'évêché. L'immeuble est peut-être construit sur les plans de Joseph Caubert de Cléry, architecte diocésain. Un projet d'agrandissement est signé de lui en 1913-1914, puis en 1923-1924. En raison de la forte pente de la rue, le jardin était sur le plan cadastral de 1844 divisé par un mur dans lequel étaient percés des escaliers de communication.