Uczył się u Zbigniewa Pronaszki, Xawerego Dunikowskiego, Henryka Gottlieba i Tadeusza Pruszkowskiego. Największy wpływ wywarł na niego ten ostatni. Kilkadziesiąt lat spędzonych w Ameryce (wyjechał tam w latach 50.) to w twórczości Goldberga między innymi wracanie do rodzinnego sztelta kazimierskiego. Artysta stworzył osobną, poetycką wizję przeszłości przywodzącą na myśl twórczość Marca Chagalla. Artysta był wszechstronny w wykorzystywaniu różnych mediów - ważną częścią jego twórczości była rzeźba (kształcił się m.in. u Henryka Kuny). Tworzył również metaloplastykę W tej technice stworzył między innymi przejmującą kompozycję "Komora gazowa" Był również autorem ekspresyjnych i mrocznych rysunków z czasów II wojny światowej oraz kronikarzem zniszczeń powojennej Warszawy.