Construit par François Le Normant d'Ayssènes au cours de la première moitié du XVIIIe siècle, cet hôtel particulier abrite les services de la préfecture depuis 1825. En 1982 un hémicycle a été construit sous les jardins pour recevoir l'assemblée départementale. La préfecture est partiellement inscrite au titre des Monuments historiques depuis le 23 juin 1947.