中国古代官私藏书，总的看来，是供少数人阅读使用的，这一状况同封建时代文化事业为少数人掌握是相适应的。清光绪二十四年(公元1898年)维新变法时，维新派主张启迪民智，提倡新学，仿效西方国家，设立公共图书馆，允许公众借阅。并要求在中国传统的经、史、子、集四部之外，收藏西方近现代自然科学与社会科学的书籍。
20世纪初，清政府被迫实行所谓新政，诸如废科举，办学校，设立公共图书馆等皆为其中措施。中国第一个图书馆——浙江藏书楼于光绪二十九年(公元1903年)正式开放。紧接着湖北、福建、湖南三省图书馆在次年开放。光绪三十二年(公元1906年)清政府命各省兴办图书馆，光绪三十三年(公元1907年)江苏国学图书馆建立。光绪三十四(公元1908年)在天津建立了直隶省图书馆(5月)，在沈阳建立了奉天省城图书馆(9月)。宣统元年(公元1909年)建立了陕西、云南、河南、山东、广西、吉林、黑龙江、直隶(保定)等省馆以及京师图书馆。据统计，辛亥革命前后全国各省市建立了近20个图书馆，使我国图书馆事业进入了一个崭新的时期。
辛亥革命后，1912年广东省图书馆、1913年安徽省省立图书馆、京师通俗图书馆先后成立。随后各省都陆续建立了省立图书馆。甘肃1916年成立省立兰州图书馆，山西1920年成立山西教育图书博物馆，江西1920年成立江西省公立图书馆，绥远1926年在归绥(今呼和浩特)成立绥远省立图书馆，新疆1930年成立新疆省图书馆，宁夏1934年成立宁夏省立图书馆，青海1935年成立青海省图书馆，上海1936年建立上海市立图书馆，贵州1937年创建贵州省立图书馆，四川1940年成立四川省立图书馆，西康1941年成立西康省图书馆，台湾1946年4月成立台湾省图书馆，热河1941年成立热河省图书馆，察哈尔1947年成立察哈尔省图书馆。与此同时，1933年和1943年在南京和兰州分别成立了两个国立图书馆：一个是国立中央图书馆，另一个是国立兰州图书馆。中央图书馆1936年9月开放阅览。次年7月抗战爆发，该馆迁至重庆。1941年1月建成中央图书馆重庆分馆。抗战胜利后，重庆分馆将中西文普通图书与设备全部移交重庆罗斯福图书馆。1946年5月中央图书馆迁回南京，1949年改称南京图书馆。国立兰州图书馆于1944年7月开放，1945年4月停办，图书设备交西北师院代为保管。1946年9月又奉命恢复，1949年8月改名为西北人民图书馆。
此外有些省、市还在不同地区建立了若干个省立图书馆和市立通俗图书馆，它们依次是：南京通俗图书馆(1927年)、天津市图书馆(1929)、天津市七个通俗图书馆(1929年)、重庆市通俗图书馆、广西省立南宁市图书馆(1931年)、江苏省立镇江图书馆(1932年)、云南省立昆明市图书馆(1936年)、江西省立九江图书馆(1939年)。至1947年12月底我国共有国立图书馆三个，28个省共有省立图书馆34个，市立图书馆19个。
在各省普遍建立省级公共图书馆的基础上，一些经济文化比较发达的省份，开始建立县级图书馆。据1925年统计，全国公共图书馆共有259个，除了省级图书馆、市级图书馆外，其余大部分为县级图书馆。其中东南沿海各省图书馆数量较多，东南沿海地区，以江苏最发达。江苏省当时有56个县级图书馆，苏州、南通、无锡等地县立图书馆规模较大，以南通县图书馆为例，其藏书超过10万卷，大小馆舍达67间房屋，可谓县级图书馆之最。1935年普通图书馆903个。1936年增至1502个。应该说，清末和民国时期是我国图书馆事业发展的新阶段。