Na wschodnim brzegu Łyny, mniej więcej ok. 1346 roku kapituła warmińska zaczęła wznosić zamek, który miał być jej siedzibą. Kapituła ta podlegała zakonowi krzyżackiemu do połowy XV w. – twierdza została zdobyta przez wojska polskie po bitwie pod Grunwaldem – zamek został oddany bez walki. Niestety po 4 latach Krzyżacy przejęli warownię – podczas oblężenia. Gdy wybuchła wojna trzynastoletnia (trwająca w latach 1454-1466) zamek na zmianę zdobywali Polacy i Krzyżacy tocząc ze sobą zacięte walki. Ostatni bój o twierdzę został stoczony w 1521 r. gdy rycerze zakonu oblegali zamek. Jednak po pierwszym zakończonym porażką szturmie zaprzestali kolejnych prób jego zdobycia.
Warownią zarządzali komornicy olsztyńscy – jednym z nich był w latach 1516-1521 Mikołaj Kopernik, który przygotował twierdzę na odparcie ataku Krzyżaków w 1521 r. Wybitny astronom zostawił po sobie pamiątkę na krużganku – tablicę, która umożliwiała mu śledzenie równonocy wiosennej i jesiennej. Poza Kopernikiem przebywali tutaj także dwaj wielcy pisarze średniowiecznej Polski – Marcin Kromer (piszący głównie dzieła naukowe i literackie) oraz Jan Dantyszek (nazywany „pierwszym poetą sarmackim”).
W zamku znajduje się obecnie Muzeum Warmii i Mazur, które można odwiedzać w następujących godzinach: maj – czerwiec; wrzesień wt - sb 09.00 – 17.00 nd 10.00 – 18.00 lipiec – sierpień wt – nd 10.00 – 18.00 październik – kwiecień wt - sb 10.00 – 16.00 nd 10.00 – 18.00 Ceny biletów kształtują się następująco: ulgowy – 8 zł, normalny – 10 zł, rodzinny 20 zł i 25 zł. Wejście na dziedziniec zamku jest bezpłatne. Muzeum organizuje tu spotkania Niedziela w muzeum, podczas których można np. przymierzać zbroje i średniowieczne szaty.