Pałac wzniesiono w latach 1680-1705 dla prymasa Michała Radziejowskiego w miejscu XVII-wiecznego drewnianego dworu Radziwiłłów. W kolejnych latach budynek był własnością najznamienitszych rodów: Radziejowskich, Prażmowskich, Sieniawskich, Czartoryskich. W 1733 roku pałac został kupiony przez rodzinę Czapskich, którzy rozpoczęli przebudowę w stylu późnobarokowym.
Poza Chopinem, słynnymi lokatorami Pałacu byli m.in.:Stanisław Małachowski, Zygmunt Vogel, Zygmunt Krasiński.
Od zakończenia II wojny światowej w budynku mieści się Akademia Sztuk Pięknych.
Na dziedzińcu przed pałacem stoi kopia pomnika Bartolomeo Colleoniego, kondotiera weneckiego dłuta Andrei del Verocchia.