Legenda głosi, że zamek został zbudowany na życzenie okrutnej księżnej Odosławy. Miał on służyć przede wszystkim do ukrycia zrabowanych przez jej rycerzy kosztowności. Dlatego właśnie mieści się tam tyle podziemnych korytarzy. W rzeczywistości zamek wzniósł biskup Jan Grot w pierwszej połowie XIV wieku.
Wizytówką zamku jest wysoka cylindryczna wieża. Jest ona jednym z najstarszych zachowanych elementów konstrukcji. Pod koniec XIV wieku biskup Florian Mokrski zdecydował o otoczeniu go murami obronnymi. Rozbudowy dokonał biskup Filip Padniewski. Przemienił zamek w renesansową rezydencję oraz przerobił przedzamcze na zamek górny. Najdotkliwsze zniszczenia przyniósł Potop szwedzki oraz najazd wojsk księcia Siedmogrodu Rakroczego. W czasie zaborów Austriacy wykorzystywali zamek jako szpital wojskowy.
Iłżę szczególnie warto odwiedzić na początku maja podczas corocznego turnieju rycerskiego. Zwiedzanie jest bezpłatne. Płaci się jedynie za wejście na wieżę. Cena to 1 zł za bilet ulgowy, 3 zł za bilet normalny.