Diecézna knižnica bola slávnostne otvorená 30. novembra 1885. Predchádzala jej Kapitulská knižnica, ktorú zriadil biskup Ladislav Adam Erdödy začiatkom 18. storočia. Nachádzala sa vo veži katedrálneho chrámu sv. Emeráma na Nitrianskom hrade, no s pribúdajúcimi rokmi a narastajúcim počtom kníh starý priestor nepostačoval. Biskup Augustín Roškováni preto rozhodol o postavení novej knižnice a jej výstavbou poveril architekta Jozefova Lipperta a staviteľa Fridricha Schmidta.
Lippert a Schmidt vytvorili mimoriadne pôsobivý interiér v severovýchodnej časti Kňazského seminára sv. Gorazda.
„Najvzácnejšou časťou fondu sú prvotlače, takzvané inkunábuly, teda knihy vytlačené do roku 1500,“ píše sa na stránke Biskupstva Nitra. Takýchto prvotlačí obsahuje knižnica 78. Ďalšie štyri boli objavené pri spracovávaní tlačí zo 16. storočia vo forme príväzkov, ktoré patrili k dielam z tohto obdobia. Celkovo sa tu nachádzajú diela v 37 jazykoch a dokonca aj časopis, ktorý je napísaný Braillovým písmom.
V knižnici dlhej 22 metrov a širokej 7 metrov sú zväzky kníh uložené do výšky až 10 metrov.
V súčasnosti sa tu nachádza takmer 66 000 vzácnych kníh. Najmenšia kniha rozsiahlej zbierky váži len necelé dva gramy. Ide o Korán a na jej čítanie potrebujete lupu. Naopak, najväčšou knihou je Atlas československých dejín s rozmermi 50×43 centimetrov, ktorý bol vydaný v Prahe v roku 1965. Autorom najstaršej knihy je kresťanský filozof a spisovateľ Boethius. Kniha bola vydaná v Norimbergu v roku 1473 a jej názov je Útecha z filozofie.
Traduje, že Boethius ju napísal vo väzení v noci pred jeho popravou, ktorá bola trestom za údajné povstanie proti cisárovi.
Najhrubšia kniha v knižnici má 1659 strán a najťažšia kniha, Neerlandia Catholica z 19. storočia, váži približne 9 kilogramov. Zaujímavosťou je i prvotlač, ktorá bola vydaná v Paríži v roku 1495, Officium Beate Virginis Mariae, ktorá obsahuje okrem textu aj celostránkové drevorezby s figurálnymi motívmi. Vo vzácnej knižnici nájdeme Calepiniho slovník z roku 1599. Obsahuje text v 11 jazykoch a aj ojedinelú Gramatiku rómskej reči v maďarčine z roku 1800.
