汉高祖刘邦七年(公元前200年)，在丞相萧何的主持下建成未央宫。与此同时，在正殿北面修建三座藏书楼：石渠阁、天禄阁和麒麟阁，作为专用的皇家藏书楼。在这三座藏书楼建成后，萧何将灭秦时在咸阳收得的秦代书籍置于其中，作为汉初第一批皇家图书而入藏。所以后来“石渠”、“天禄”则成了皇家藏书的别称。为了防火、防潮，在藏书楼中用石块砌成“石室”，书柜是用铜镶边的柜子，称之为“金匮”。
汉武帝时由于在全国广泛征集图书，图书增加很快，适应这一发展的需要，汉武帝进一步“建藏书之策，置写书(指缮写图书)之官”，除了萧何修建的石渠等三阁放置从咸阳收集的秦代藏书外，据《汉书·艺文志》引刘歆《七略》称，当时藏书“外则有太常、太史、博士之藏，内则有延阁、广内、秘室之府”。这说明：宫内在石渠、天禄、麒麟、延阁、广内、秘室六处等有藏书；宫外主管礼制、修史、授学的太常、太史、博士等所在的机构也有藏书。不仅如此，西汉时期规定了御史大夫(副丞相)的助手御史中丞是既掌管监察，又管理图书的主要官员。因此，御史官署所在地——兰台也成为朝廷的另一个重要藏书处所了。
西汉时国家藏书的总数量，根据刘向父子校定编目的数字为13269篇卷，其中六艺类3123篇，诸子类4324篇，诗赋类1318篇，兵书类790篇，数术类(占卦)2528卷，方技类(医药)868卷，加上不同写本与残本就数量更大，多达33090卷。
西汉末年，发生王莽篡权，引起政治动乱，藏书受到很大损失。公元25年，刘秀取得政权，建立了东汉，定都洛阳。东汉初期的几位皇帝，崇儒尚文，重视图书收藏。据《后汉书·儒林列传》记载，光武帝曾从长安运来书籍2000余车，后经过明、章两帝近30年的经营，国家藏书有了较大的增长，达到原有藏书的三倍，计有6000车图书。这么多的书籍，除收藏于东观、兰台、石室、仁寿阁等处外，还在宣明殿和辟雍(皇族读书处)以及鸿都等处也藏有大量缣帛图书。西汉时虽设有管理图书的官员，如御史中丞、太常、太史等官职，但他们都是从事监察、礼宾与史官工作，只是兼管图书。东汉桓帝刘志(公元147年—167年在位)设立秘书监，成为管理图籍的专门机构，以后历代各朝都设此机构(明、清除外)。东汉管理图书的职官有兰台令史、东观郎、校书郎以及秘书监等，《汉书》的撰写者班固当时任兰台令史。正是有了专门性的图书管理机构与专职官员，才使图书管理与图书整理工作走向正规化。
东汉国家藏书由于《后汉书》中没有艺文志，所以很难得以精确地统计。清代的《补后汉书艺文志并考》对东汉图书目录记载分为内外篇，内篇有“六艺志”、“记传志”、“子兵志”、“文翰志”、“数术志”、“方技志”；外篇为“道佛志”。其中章、篇、卷数可考者81章1790篇，2321卷；不可考者208部，占全部藏书的绝大部分。尽管这是些大约的数字，从中也可看出东汉的藏书规模。
值得注意的是国家对藏书控制很严，除太常、太史、博士等官外，其他人员未经皇帝许可，不得私借、抄录，否则给予严厉的制裁。西汉宣帝地节四年(公元前66年)太常苏昌把国家藏书私借给大司马霍山抄录，为此苏昌被罢官。汉成帝的叔父东平王刘宇上疏求书，遭到拒绝。拒绝的理由是因诸子等书反对经术，非难圣人；谋臣奇策以及天象灾异、地形要塞也不宜诸侯王掌握。可见汉朝统治者所以十分严格控制图书流通，是为巩固其至高无上的皇权，以防诸侯王谋反。
至于民间私人藏书，至汉惠帝四年(公元前191年)朝廷正式解除挟书禁令后，才成为合法之事。在此之前，民间藏书都以隐匿形式保存，因此藏书者不多。
在两汉，由于简册书写与收藏不便，加上缣帛之书昂贵，故私人大量藏书者并不多，能够大量收藏图书的首先是有权和富有的诸侯王，比较著名的收藏者有淮南王刘安与河间献王刘德。献王曾步朝廷之后，向民间高价征书，“从民得善书，必为好写与之，留其真”，就是请人精抄一份，把正本留下，抄本归还原主，于是四方人士纷纷献书。献王所得到的大都是古文先秦旧书，致使刘德的藏书与皇家藏书数量相差无几。西汉的私人藏书家中有些是官宦学者，如刘向父子、班斿、卜圭，都有相当数量的藏书。东汉时最有名的藏书家是蔡邕(公元132—192年)，据史书记载，他是我国第一位藏书近万卷的藏书家。
当时私人图书来源主要有三种途径：一是国家赐书，如西汉末班斿，东汉窦融都曾得到皇帝的赐书；二是私相授受，如蔡邕亲自赠给王粲〔can灿〕“数千卷书籍”；三是由书店采购而来。随着经济文化发展，人们对书籍需求量增加，已出现专门买卖书籍的书肆。在西汉著名思想家扬雄(公元前53—后18年)的《法言·吾子》中已有“好书而不要诸仲尼，书肆也”的记载。《后汉书》也说东汉著名思想家王充“家贫无书，常游洛阳市肆，阅所卖书，一见辄能诵忆，遂博通众流百家之言”。可见，汉代既有国家藏书，又有私人藏书。图书既有典藏，又有流通；图书来源既有赠赐，又有购买。那时藏书达到很高的水平。