Свою историю музей начинает с коллекций произведений искусства, которые приобретала в частном порядке российская императрица Екатерина II. Первоначально эта коллекция размещалась в специальном дворцовом флигеле — Малом Эрмитаже (от фр. ermitage — место уединения, келья, приют отшельника, затворничество), откуда и закрепилось общее название будущего