Bibliotheken bestaan al heel lang. In 3300 voor Christus werd in Sumerië het schrift uitgevonden en daar ontstonden de eerste bibliotheken. In de Oudheid waren er uitsluitend tempelbibliotheken. Deze bibliotheken bestonden uit rekken met kleitabletten, meestal stond op het tablet een verwijzing in welk rek het thuishoorde. Een beroemde bibliotheek met kleitabletten is die van Ebla.
Ook in het oude Egypte waren er bibliotheken. De oudste bibliotheek is die van de Egyptische koning Sjepseskaf (2575 v.C): een hofarchief.De beroemdste Egyptische bibliotheek van was die van Alexandrië die in de hellenistische periode werd gesticht. De Ptolemaeën hadden tot doel deze verzameling compleet te maken, dat wil zeggen dat zij van alle hun bekende boeken een kopie wilden hebben. Een bekend verhaal is dat elk schip dat aanmeerde in de haven zijn boeken moest afgeven aan de bibliotheek. Dit werd dan gekopieerd en het origineel werd in de Alexandrina bewaard.
In het begin van de 20e eeuw is het moderne bibliotheekwezen in Nederland ontstaan. Voor de organisatie en professionalisering daarvan is van groot belang geweest dat in 1912 de Nederlandse Vereniging van Bibliothecarissen (NVB) opgericht werd. De eerste bibliotheken ontstonden op initiatief van particulieren.