Dwór powstawał w dwóch etapach – na początku XVI w. oraz pod koniec – w latach 1585 – 1590 jako obiekt obronny rodu Gładyszów. Uznawany przez znawców za cenny zabytek architektury renesansowej (z wpływami włoskimi) i najważniejszy w Polsce przykład kasztelu – obronnego dworu utrzymanego w stylu epoki odrodzenia.
Z zamkiem wiąże się pewna legenda: otóż, podobno pod murami dworu ukryta jest tajemna jaskinia, w której skrywane są ogromne skarby strzeżone przez diabły. Dostać do skarbów można się tylko jeden dzień w roku – w Niedzielę Palmową, kiedy to biesy opuszczają pieczarę i pojawia się szansa, aby wykraść im kosztowności. Niestety po dotarciu poszukiwaczy okazuje się, że majątek jest tak wielki, a ich żądze tak ogromne, że nie są oni w stanie przestać zachwycać się skarbami. Tracą tyle czasu, że pojawiają się powracające diabły i zastawszy śmiałków wśród skarbu zabijają ich w straszny, znany tylko sobie sposób.
Istnieje jeszcze jedna legenda związana z dworem szymbarskim – dotyczy ona czterech córek rycerza Gładysza, które ze względu na różne charaktery mieszkały w czterech, osobnych wieżach, które do dziś nawiedzają.
W 2010 r. zakończono remont dworu. Obecnie znajduje się tu Ośrodek Konferencyjno-Wystawienniczy Kasztel w Szymbarku oraz oddział Muzeum Dwory Karwacjanów i Gładyszów. Kasztel można zwiedzać bezpłatnie. Udostępniony jest w sezonie letnim (od maja do września) od wtorku do piątku w godz. od 9.00 do 17.00, a w soboty i niedziele od 9.00 do 18.00. W sezonie zimowym natomiast (od października do kwietnia) dwór zaprasza od wtorku do niedzieli w godz. od 9.00 do 16.00.