La préfecture occupe trois hôtels particuliers : l'hôtel Poupet, l'hôtel Lanussé et le Pont des Granges. La préfecture est inscrite au titre des monuments historiques le 10 mai 2006.