Muzeum mieści się w Starej Synagodze na Kazimierzu, najstarszej z synagog zachowanych w Polsce. Została ona zbudowana w XV w. Swą architekturą nawiązuje do wcześniej powstałych, gotyckich bożnic dwunawowych w Wormacji, Regensburgu i Pradze. W 1570 r. została przebudowana przez Mateusza Gucciego, który nadał jej renesansową formę, zachowując jednakże jej gotycki, dwunawowy układ i odtwarzając krzyżowo-żebrowe sklepienie. W 2 połowie XVI w. i w 1 połowie XVII w. do synagogi dostawiono kolejno przedsionek, dwie modlitewnie dla kobiet i dom zarządu gminy,wspólnie z którym synagoga tworzyła centrum religijno-administracyjne gminy żydowskiej na Kazimierzu. Przed I wojną światową i po jej zakończeniu synagoga poddawana była wieloetapowej restauracji, projektowanej w latach 1904, 1913 i 1923 przez Zygmunta Hendla. Przeprowadzone wówczas prace znacznie poprawiły jej stan techniczny i funkcjonalny i wzbogaciły jej architekturę o historyzujący, neorenesansowy detal, harmonijnie połączony z jej dawną strukturą zabytkową. W 1941 r., w okresie tworzenia przez Niemców getta w Krakowie, synagoga przejęta została przez niemiecki Urząd Powierniczy (Treuhandstelle) i użytkowana następnie jako magazyn. Jej wyposażenie uległo zniszczeniu i rozproszeniu. Pod koniec 1944 r. runęło jej sklepienie, być może zniszczone świadomie. W latach 1956-59 została odrestaurowana z jednoczesną adaptacją na muzeum. Na podstawie porozumienia zawartego 30.10.1959 r. pomiędzy Żydowską Gminą Wyznaniową w Krakowie i Muzeum Historycznym m. Krakowa, w dawnej synagodze powstał Oddział Dziejów i Kultury Żydów.