Fasada biblioteki, z dwunastoma kolumnami w stylu korynckim, wzorowana jest na paryskim Luwrze.
Wybudowano ją w latach 20. XIX wieku, na zlecenie hrabiego Edwarda Raczyńskiego, który bibliotece przekazał swój księgozbiór składający się z kilkunastu tysięcy tomów.
Bibliotekę otwarto 5 maja 1829 roku i wtedy przeszła na własność miasta.