Początek budowy Pałacu datuje się na XIV wiek. Zamek kilkakrotnie był przebudowywany, po 100 latach od pierwotnej budowy zmodernizowano go na styl gotycki, a w XVI wieku na styl renesansowy. Początkowo budynek pełnił funkcję rezydencji książąt pomorskich były to również koszary wojskowe i magazyny zbożowe.
Obecnie mieści się tu Muzeum Pomorza Środkowego, które udostępnia zwiedzającym wystawy czasowe i stałe. Warto zwrócić szczególną uwagę na zbiór prac Witkacego. Ważnym eksponatem dla muzeum jest również jedyny ocalały na Pomorzu średniowieczny kamień pochodzący z krzyża pokutnego zabójcy.