奥地利国家图书馆为哈布斯堡王朝皇家图书馆的继承者，皇家图书馆肇始于14世纪的宫廷图书馆，是时哈布斯堡王室开始收集手稿和类似的物品。
最早的手稿是阿尔布雷希特公爵三世1368年收集的；皇帝腓特烈三世（1440-93在位）及其子马克西米连一世（1493-1519在位）是热衷于艺术、科学和藏书的人。1575年胡戈·布洛提乌斯成为藏书的首位专职图书馆员，1590年藏书9000卷。
奥地利国家馆设有馆长办公室；研究部；读者服务部；采访部；参考与信息服务部；公共关系部（传媒与出版组、赞助与图书捐赠组、展览与参观组）；信息技术服务部；报刊部；手稿秘籍部；摇篮本、古本与善本部；人工语言和国际世界语博物馆部；单面印刷品、招贴画及藏书票部；肖像、绘画与继承品部；纸莎草与纸莎草博物馆；乐品部；奥地利国家图书馆之友等机构。
奥地利国家有藏品300万种约630万件，其中书刊2,932,000卷；现刊17,136件/册；手稿及手稿石版复制品380,975件(16,000件是16世纪之前的)；微片12,057张；小册子238,840件；摇篮本8,000件；地图252,252件；书画刻印作品104,413件；印刷型乐谱120,000件；16/35电影胶片208个；视听资料65,000件；录音20,108张；CD-ROM65张；藏书票42,232张；纸莎草194,038件(其中100,000件以上在80年代业已编目);肖像728,302件；照片248,045件；戏单等。
奥地利国家于1967年将中央阅览区域（目录，主阅览室和期刊阅览室）迁入赫尔登的帝国宫，从此图书馆矗立在1723年的维也纳宫廷内，并不断扩充。1992年的扩展是一座地下四层书库，图书馆的陈列柜则位于大厅中。