Музеят за история на изкуствата е открит е през 1891 г. заедно с разположения срещу него и почти идентичен по външен вид Природонаучен музей. Идеята за създаването на музея била на император Франц Йозеф I в рамките на разширението на града през 1858 година. Музеят е построен в стил италиански ренесанс по проект на Готфрид Земпер и Карл фон Хазенауер и става дом на богатите художествени колекции на австрийския император. В този период вече съществували подобни музеи, които възникнали въз основа на кралски колекции в други страни. Във Виена решили да създадат не един, а два музея, където да бъдат изложени природни и художествени експонати. Така възникнали сградите близнаци на Природонаучния музей и Музея за история на изкуствата.