L'édifice tire son origine du palais reconstruit pour Jean Ier de Berry, à la fin du XIVe siècle, par Guy de Dammartin, puis Drouet de Dammartin. Les vestiges du palais sont classés au titre des monuments historiques le 28 octobre 1895.