Kamienica powstała na miejscu dwóch domów z XIII wieku, z których zachowały się wnęki okienne z tego okresu. Następnie była wielokrotnie przebudowywana i powiększana, ostateczny wygląd uzyskała po przebudowie i nadaniu jest stylu barokowego w XVII i XVIII wieku.
Kamienica była miejscem kwaterowania najważniejszych gości, razem z Błękitnym Słońcem i Kamienicą Pod Siedmioma Elektorami, z którymi była połączona przejściami, stanowiła rezydencję dla króla Czech Władysława Jagiellończyka, cesarza Rudolfa II oraz Ferdynanda II.
Dziś Ossolineum skupiony jest wokół dwóch dziedzińców. Główne wejście przy ulicy Szewskiej zdobią drewniane drzwi z herbami Ossolińskich. Wchodząc od tej strony można dostać się na dziedziniec północny na którym króluje barokowa studnia, stąd dawniej przechodziło się do stajni i wozowni. Drugi dziedziniec z pięknym ogrodem znajduje się między kościołem św. Macieja a klasztorem - wejście od uliczki Zaułek Ossolińskich. Miejsce dawnego klasztoru zajął Zakład Narodowy im. Ossolińskich.
Ossolineum to fundacja założona we Lwowie przez Józefa Maksymiliana Ossolińskiego. Obejmowała bibliotekę, zakład naukowy i wydawnictwo. Po wojnie część zbiorów przeniesiono do Wrocławia. W Ossolineum znajdują się dzieła ważne dla kultury narodowej, między innymi rękopis"Pana Tadeusza" Adama Mickiewicza, "Zemsty" Aleksandra Fredry, "Chłopów" Władysława Reymonta, jedno z pierwszych wydań "O obrotach ciał niebieskich" Mikołaja Kopernika.