Gotycki zamek w Czersku ufundował książę mazowiecki Janusz I. Rozkazał on w miejscu przestarzałego grodu wznieść ceglany zamek, który wybudowano w latach 1388 - 1410. Była to jedna z najważniejszych rezydencji księcia, który zmarł na tym zamku w dniu 8 grudnia 1429 roku. Gdy tereny te zostały przyłączone do Królestwa Polskiego 1526 roku, zamek stał się własnością królewską. W tym też okresie nadbudowano cylindryczne wieże. Od 1547 roku zamek podlegał królowej Bonie, która nakazała wymianę drewnianej zabudowy dziedzińca na murowaną. W czasie Potopu szwedzkiego w 1656 roku zamek doznał bardzo poważnego uszczerbku. Po III rozbiorze Polski i objęciu Czerska przez Prusaków mury zostały częściowo zburzone. Od tego czasu zamek jest zrujnowany.
Do dzisiaj zachowana jest większość murów zamku oraz wszystkie trzy wieże (Brama, Południowa i Zachodnia), z których można podziwiać panoramę okolicy.