Prvú časť v barokovom štýle obrátenú smerom k námestiu dal postaviť v rokoch 1767 – 1770 biskup J. Gustínyi. Neskôr, medzi rokmi 1876 – 1877, dal podľa dobových zdrojov mesta Nitry biskup A. Roškoványi pristaviť zadný dvojposchodový trakt obrátený k mestu mohutnou neoklasicistickou fasádou. Doba odovzdania stavby a taktiež účel objektu je zaznamenaná na zlatom nápise fasády, ktorý znie: “August de Roskoványi, Epp. Nitr. Virtuti et Scientiae crescit Anno 1877”.

Po čase, konkrétne medzi 1878-1879 pribudla reprezentačná neoklasicistická diecézna knižnica, ktorej súčasťou je aj malá kaplnka. „Štukový oltárik bol postavený v rokoch 1782-84, v strede s obrazom sv. Ladislava,“ vysvetľujú zdroje mesta pod Zoborom. Diecézna knižnica /Bibliotheca dioclesiana/ sa môže pýšiť najcennejšou zbierkou pôvodnej literatúry na Slovensku. Jej príbeh siaha až do 12. storočia, kedy sa pri katedrálnom chráme už v tých časoch nachádzala zbierka rukopisných kódexov. Postupom času pribúdali ďalšie a ďalšie rukopisy, zväzky a knihy.

V roku 1828 mala už 6 129 zväzkov. „Literárne činný nitriansky biskup A. Roškoványi dal adaptovať pravé krídlo Veľkého seminára a v r. 1879 vytvoril vernú kópiu hlavného traktu Szécsényiho maďarskej národnej knižnice v Budapešti ako veľkú reprezentačnú diecéznu knižnicu,“ informuje nitra.sk. V dnešných časoch by sme v knižnici natrafili na cca 66 000 zväzkov. Tie nesúvisia len s teológiou a náboženstvom. Zaoberajú sa aj históriou, geografiou, prírodnými vedami, filozofiou, pedagogikou, právom, literatúrou, jazykovedou atď.

„Najvzácnejšou časťou fondu sú prvotlače “inkunábuly”, t. z. tlače do r. 1500,“ prezrádza nitra.sk.

Okrem toho tu môžeme nájsť aj kuriozity akými sú:

• najmenšia kniha v knižnici, ktorá má rozmery 8 x 5,5 cm a bola vydaná v r. 1628,
• najväčšia kniha v knižnici, ktorou je Atlas československých dejín s rozmermi 50 x 43 cm, vydaný v Prahe v r. 1965,
• najhrubšia kniha, ktorá obsahuje 1659-stranové Zápisky z dejín poľského sejmu vydané v r. 1557.