Zamek został zbudowany w XIV wieku przez rodzinę Wedlów. W 1500 roku doszło do pożaru co zmusiło ówczesnego właściciela do jego odbudowy. W następnych latach był kilkakrotnie rozbudowywany i remontowany zmieniając jego pierwotne przeznaczenie. W XIX wieku był siedzibą poczty oraz budynkiem mieszkalnym. Po II wojnie światowej pełnił funkcję placówki kulturalno-oświatowej.
Zamek jest najstarszym zabytkiem miasta z którego pierwotnej budowli zachowały się tylko piwnice.
Obecnie w budynku mieści się Biblioteka Publiczna im. Juliana Tuwima, Galeria artystyczna oraz sala wystawowa.