Jazdów to jedno z najstarszych miejsc w Warszawie. Znajdował się tutaj historyczny gród, skąd książę mazowiecki przeniósł dwór na Stare Miasto. Zamek Ujazdowski znajduje się właśnie na miejscu XI-wiecznej osady Jazdów.
W XVI wieku zamieszkała w nim królowa Bona Sforza, która jednocześnie rozbudowała dwór i zabudowania gospodarskie. W połowie XVIII wieku pałac stał się własnością króla Stanisława Augusta Poniatowskiego.
W latach 1809-1944 zamek był zaadoptowany na szpital wojskowy. Wtedy też w jego otoczeniu wybudowano pawilony szpitalne, z których część przetrwała do dziś. Zniszczony pod koniec II wojny światowej został odbudowany po 1973 roku.
Od 1981 roku w Zamku swoją siedzibę ma Centrum Sztuki Współczesnej – instytucja kulturalna i znakomita galeria.