Il museo fu costruito tra il 1872 e il 1891 insieme all'altro museo (il 
Museo di Storia Naturale) che sta di fronte e che ha la stessa 
identica facciata. Si trovano sulla 
	Ringstraße, un anello di viali 
lungo 4 km intorno al centro di Vienna che 
nacque dopo la demolizione del massiccio complesso di mura che 
circondava Vienna a partire dal '300. Gli architetti dei due edifici 
in stile neo-rinascimentale furono 
Gottfried Semper, che disegnò 
anche la famosa opera di Dresda e numerosi edifici di Berlino, e 
	
Karl Freiherr von Hasenauer.
 
Francesco Giuseppe I volle questi due musei per ospitare l'immensa 
collezione di opere d'arte degli Asburgo. Oltre alla pinacoteca il 
Museo di Storia dell'Arte ospita una collezione egiziano-orientale, 
una collezione dell'antichità e una importante collezione 
numismatica. Anche la stanza del tesoro imperiale della Hofburg fa 
parte delle collezioni del museo.