A aquests efectes, Carles III va comptar amb un dels seus arquitectes favorits, Juan de Villanueva, autor, a més de la seu del Museu, del proper Jardí Botànic. El projecte arquitectònic de l'actual pinacoteca va ser aprovat per Carles III el 1786, va suposar la culminació de la carrera de Villanueva i un dels cims del neoclassicisme espanyol, encara que, donada la llarga durada de les obres i avatars posteriors, el resultat definitiu es va apartar una mica del disseny inicial.

L'arribada de les tropes franceses a Espanya i la Guerra del Francès van deixar la seva petjada en l'edifici; es va destinar a fins militars (Caserna de cavalleria) i va caure en un estat gairebé de ruïna total. Les planxes de plom de les teulades van ser foses per a la fabricació de bales.