История музея Прадо началась при Карле III, короле Испании, который по совету Антона Рафаэля Менгса, придворного художника и советника по вопросам искусства, захотел придать городу Мадриду облик, достойный европейской столицы. Поэтому в 1775 г. он поручил архитектору Хуану де Виллануэва спроектировать музей для естественнонаучной коллекции, который должен был находиться недалеко от палаццо Буен Ретиро на лугу (по-испански el prado), излюбленное место прогулок жителей Мадрида. Для дверей, окон и колонн Виллануэва использовал местный гранит, который добывался в Сьерра-ди-Гвадамарра, а также белый известняк из Кольменара для фундаментов. В проект здания архитектор включил некоторые элементы, позаимствованные им из палладианских вилл, которыми он восхищался во время своего путешествия по Италии. Рядом с музеем должны были разбить ботанический сад, построить обсерваторию и химическую лабораторию. Строительные работы были полностью завершены только при Фердинанде VII.
Во время кровопролитных войн за независимость Испании здание превратилось в казармы наполеоновских войск и даже было частично разрушено, так как горожане использовали камень для восстановления жилищ, разрушенных во время войны. После смерти Карла III при Карле IV, в эпоху Французской революции, решили создать музей, способный бросить вызов парижскому Лувру, где были бы собраны королевские коллекции. Сначала коллекции размещались во дворце Буэнависта, который стал называться Музеем Джу-зеппино по имени короля Жозефа I Бонапарта. В 1814 г. по желанию Фердинанда VII и по совету в первую очередь королевы Изабеллы Браганца дворец Виллануэва преобразовали в «Королевский музей живописи и скульптуры». В нем были объединены коллекции, которые веками собирали испанские короли. Работы по перестройке и отделке здания были завершены почти через пятнадцать лет.
