Inicjatorem budowy gotyckiego zameku biskupów warmińskich z XIV wieku był biskup Jan I z Miśni.
Zamek powstał na planie czworoboku z wewnętrznym dziedzińcem i ozdobnymi krużgankami. W północno - zachodnim narożu wznosi się potężna cylindryczna baszta. Druga kwadratowa wieża zabezpiecza przejazd bramny. Zamek był kilkakrotnie zdobywany czasami bez walki. Utracił znaczenie militarne pod koniec XVI wieku, kiedy przekształcono go na rezydencję myśliwską arcybiskupa Andrzeja Batorego, brata króla. Na zamku często przebywał Mikołaj Kopernik, w późniejszych caszach Ignacy Krasicki.
Dawniej w Reszelu władze miasta zakazały wznoszenia budowli wyższych od istniejących kamienic, ponadto koniecznoącią była budowa tylko domów z czerwonymi dachami. Zaowocowało to jednorodnym i malowniczym widokiem miasteczka, które najlepiej obserwować z wieży zamkowej.
Obecnie na zamku działa: Galeria Sztuki Współczesnej, będąca oddziałem Muzeum Warmii i Mazur, z ekspozycjami prezentującymi dorobek najwybitniejszych artystów polskich i zagranicznych, hotel i restauracja.