中国的文化传统渊源很深，一切事物推其原始都要说得十分久远，传说在黄帝时代，就有划分政区的行动了。因此，班固的《汉书·地理志》一开头就说：“昔在黄帝，作舟车以济不通，旁行天下，方制万里，画野分州，得百里之国万区。”
黄帝自来被看成是华夏民族的老祖宗，自然许多事物的发明权都要归功于他，一切典章制度也须由他首创。然而黄帝大约只是原始社会部落联盟的领袖，处于血缘关系的氏族社会中，自然不可能制定反映地缘关系的行政区划。相反倒是后人划分政区的实际行动成为有关黄帝画野分州传说的基础。秦县的大小正是以“大率方百里”为准，所以才有黄帝“得百里之国万区”的传说产生。
《地理志》接着说：“尧遭洪水，怀山襄陵，天下分绝，为十二州，使禹治水，水土既平，更制九州，列五服，任土作贡。”如果说黄帝只是传说中的人物，画野分州的事不大可靠，一般人也许都会同意。但是对于大禹更制九州，却使许多人深信不疑。尤其是名列十三经之中的《尚书》有《禹贡》一篇文字，详细地描述了九州的范围，五服的区划，自然容易使人信服。因此古今许多方志，在叙述本地区的历史沿革时，都要追溯到大禹时代的九州。其实《禹贡》也是战国时人的伪托，九州说不过是当时流行的一种乌托邦式的设想，除了《禹贡》九州外，上述《周礼》，还有《尔雅》、《吕氏春秋》也都有各自的九州系统。
不但大禹时代不可能有九州产生，就在国家出现之后，也没有立即产生行政区划。夏商两代文献不足考，对其国家体制可暂且勿论。就是从西周的政治制度来看，也还没有行政区划的痕迹。为了统治广阔的被征服地区，周初所实行的政治制度是封建制，封建就是封邦建国，其实质是周天子将王畿以外的天下土地分给诸侯建国，诸侯再把国都以外的地域分封给卿大夫，卿大夫还可以进一步往下分封自己的子弟和家臣。《左传》称这种制度是“天子建国，诸侯立家”。于是在西周的版图之中就形成天下—国—家三个基本的地域层次，这就是《大学》里“齐家治国平天下”的地理背景。
封建诸侯时，要举行隆重的授土授民仪式，所以一旦建国之后，此土此民即与天子无涉。受封诸侯的相应义务只是纳贡、朝觐和助征伐而已。因此，宋代的大文学家欧阳修说：“自三代以上莫不分土而治也。”(《新五代史·职方考》)以周初的政治形势而言，天子不能直接统治所有被征服的地区，只能采取分土而治的政策，以保持“天下共主”的地位。这是形势使然。所以当后代人谬赞封建制如何优越时，唐代柳宗元精辟地指出：“封建非圣人意，势也。”(《封建论》)
由于天子、诸侯，大夫同为有土之君，因此天下、国、家都具有相对独立的地位，周代实际上是一个全面分权的社会，不存在任何形式的行政区划。这一时期的地域差异，只存在于国与野之间。国就是城，城外为郊，郊外为野。国中之人是统治者，称为“国人”；住在郊外的人称为“野人”，是被统治者。国与野的区别并不是行政区划的不同，而是城邦内外，因人而异的制度上的差别。
所谓行政区划，是与中央集权制的国家相联系的。只有国君将自己所直接掌握的领土进行分层次的区划，采用集权的统治方式，派遣定期撤换的官员，这样的区划才属行政区划的范畴。行政区划的实质就是分民而不分土。《诗经》里所歌颂的“溥天之下，莫非王土”(《小雅·北山》)的景象只能是集权国家的写照，而不是西周分权社会的真相。
中央集权制国家是逐步形成的，从周初封建的诸侯国脱胎而来。与之相应，行政区划也经过萌芽、发展和全面推行的阶段，从春秋初年县的出现，到秦始皇分天下为36郡，大约经历了五个世纪的过渡时期。
周初的封建走过三四百年的道路，王室已经逐渐式微，诸侯势力逐渐强大，形成孔子所说的“天下无道，礼乐征伐自诸侯出”(《论语·季氏》)的局面。春秋时期，诸侯国之间不断发生兼并战争，国君不断将权力集中在自己手里，从战争中夺得的土地不再分封给臣下，而是成为自己的直辖地，定名为县和郡。秦、楚、晋三国最先有县的建置。起初县和郡都设在诸侯国的边境地带，两者之间也没有统属关系。后来，失势的贵族封地也被改造为县(如晋)，出现了行政区划的意识。
战国时代，权力更加下移，以至到了“陪臣执国命”的地步。卿大夫的势力已经上升，代替原来的诸侯。赵、韩、魏三国的诸侯原来都是晋国的大夫，三家分晋成为战国开始的标志。这以后，各国普遍建立郡县制度，县的设置日趋普遍，原来不成体系的小乡聚也合并为县。边地的郡由于日益繁荣，郡下又分设县，于是以郡统县的两级行政区划已现雏形。郡、县长官都由国君任免，不得世袭；郡、县领域都由国君控制，不作封赏。这样，以郡县制为其形态的行政区划体制已经基本完成。虽然此时还有例外，一是齐国始终未设郡，而是分全国为五都；二是各国内地只设县而不设郡；三是还有封邑的残留。
战国末年，秦始皇开始逐个吞并六国。在新征服的土地上，秦国不断设立新郡，废除封邑，到天下一统的前夕，已经实现“海内为郡县”的局面。但是，在战国时期，郡始终被设在边境和新征服的土地上，往往使人在心理上有临时措施的感觉。秦国的本土就从未设郡，因此，天下统一以后，到底采取何种地方制度还不是完全肯定的，这就是本书开头那场辩论的起因。当时一般人的头脑都还被封建制所禁锢，认为只有这种制度才是正统大道。唯有李斯力排众议，认为如果再恢复封建制，则年代久远以后，受封诸侯必然因亲属疏远而互相攻击，导致王朝灭亡。
秦始皇也深明这个道理，因此坚决站在少数派李斯一边，全面推行郡县制，取消所有封邑。使普天之下真正成为皇帝一人的直属领土。后世的人们大多盛赞这一英明决断，称秦始皇此举为“罢侯置守”、“废封建立郡县”，是中国历史上发生的少数几件最重要的大事之一。
当然，推行郡县制并非纯粹个人意志，而是社会发展的必然，但能够高瞻远瞩，因势利导却是杰出历史人物不可磨灭的功绩。局部的郡县制虽然在秦代以前已经出现了数百年之久，但是实现全面的郡县制仍须秦始皇这最后的一蹴。尤其是郡一级政区并不是简单地接受旧六国的遗产，而是经过了重新的规划。齐国的五都被改成二郡，其他五国的内地也设置了郡，并对其边郡进行调整，如魏的西河郡和楚的巫郡都被取消，甚至连“36”这个数目也是有来历的。所以司马迁才在《史记》里郑重其事地记下“分天下以为三十六郡”这件大事(图1)。
图1 秦代分郡图
此后2000年的行政区划就在36郡的基础上发展和变化。这些变化如何发生，有什么规律，造成了什么影响，将在下面加以说明。