L'édifice, conçu par l'architecte Victor Louis pour l'intendant de la Généralité de Besançon Charles André de Lacoré, est érigé, dans un style classique de 1771 à 1778, sous la direction de l'architecte Nicolas Nicole. La première partie de l'édifice est classée au titre des monuments historiques, le 19 septembre 1923, et la deuxième, le 30 juillet 1963.