Le musée est né grâce aux confiscations révolutionnaires provenant des lieux suivants : château de la Chapelle-Godefroy appartenant à Philibert Orry (oeuvres de Watteau, 15 Natoire, 4 Louis de Boullongne, 2 Bon de Boullongne, Desportes, François Boucher, Hubert Robert, etc), château de Pont-sur-Seine (Bellotto, Philippe de Champaigne), château de Saint-Liebault appartenant à Colbert (bustes de Louis XIV et de Marie-Thérèse par François Girardon), château de Brienne appartenant au comte de Brienne pour le cabinet d'histoire naturelle, nombreuses communautés religieuses. Le musée a par la suite procédé à des acquisitions et a reçu des donations.