秦代的基层政区是县，在少数民族地区的县则称道。县以上设郡，为纯粹的郡县二级制。秦始皇二十六年分天下为36郡，加上内史——首都周围的特区，一共是37个郡级政区。后来郡数有所增加，一方面是开胡越之地，扩大疆域，设置新郡；另一方面是将内地一些郡一分为二，因此秦代总郡数增至48郡(不包括内史)。秦县数目没有文献记载，推测总数在1000个左右。平均起来，每郡约统20来个县。这样的层级和管理幅度都是比较合理的。
西汉建立以后，郡级政区大量增加，其原因有三方面：一是把秦郡划小，或一分为二，或一分为三。譬如把秦内史分成京兆尹、左冯翊〔ping yi平亿〕、右扶风三部分。二是分割，削减王国领域，譬如景帝把梁国(约相当今河南东部、山东西部与安徽西北角)一分为五。三是汉武帝以后扩大疆域，增设20来个新郡。因此西汉末年的郡国总数增至103个，共统辖1587个县级政区，平均每个郡国的管理幅度为15个县，也算适宜。
但对中央政府而言，直接管理百来个郡，幅度却是太大了。因此汉武帝在郡级政区之上设立了14部，作为监察区。首都附近诸郡由司隶校尉部所辖，其他郡国则分属13个刺史部。每部设刺史一人，按六条规定检察地方长官的行为，但不管理地方行政事务。刺史的品秩只有六百石，而郡太守的品秩为二千石，这种以小官监察大官的制度行之颇为有效，郡太守大都能克尽厥职，奉公守法，以至汉宣帝发出“与吾共此(指天下)者，其唯良二千石乎！”(《汉书·循吏传》)
研究古代史的学者多交口称赞西汉的吏治，认为此时中央集权和地方分权的关系处理得比较得当。但是这种体制从统治者的角度看来也有它的缺陷。在地方多事之秋，由于郡境过小，以一郡之权力和能力无法进行治理，譬如发生跨郡的农民起义，郡太守即束手无策。因此在郡以上再设置一级政区的需要，一直隐然存在。
西汉的13刺史部，有11部是以《尚书·禹贡》和《周礼》的九州予以调整后命名，所以通称十三州。西汉末年，州刺史曾两度改称州牧，这是借用《尚书·尧典》十二州牧的旧名，以示尊崇，品秩也升至二千石。但这种做法显然是出于不得已，所以才会两度反复。而一到东汉初年，局势安定之后，又改州牧为刺史，降秩为六百石。
所以，坚持二级制显然是中央统治者的愿望。东汉大部分时间，州一直是以监察区域的形式存在。直到东汉末年，规模巨大的黄巾起义席卷了整个北部中国，已非一群小小的郡太守所能镇压，朝廷才不得不派中央的高级官员——九卿，出任州牧，授予其兵权、财权和政权，以镇压农民起义军。这样一来，州就成了郡以上的一级行政区划。两级制政区于是转化为三级制(图3)。
图3 东汉十三州图
黄巾起义虽然失败，但彻底动摇了东汉王朝的统治。镇压农民起义军的各地州牧，渐成割据独立之势，东汉王朝最终在军阀混战中覆亡，历史迈进了魏晋南北朝长期分裂的时代。
本来汉代郡太守的地位很高，入朝即可为九卿，而刺史则至少要在任九年才能升任太守或相。太守不但可自由主持地方政事，支配地方财政，兼治地方军政，而且可以自辟幕僚，有相当的权力。但郡一级政区却不会形成割据，原因很简单：幅员太小。幅员小则人口少，财力薄，力孤势单，难以形成割据局面。反之，州的区划很大，平均领有七八郡之地，有足够称霸一方的物质基础。所以州成为一级行政区划，就易于造成分裂。中央集权统治者对此早有预见，所以尽量不让州成为一级政区。但矛盾恰在于，镇压大规模农民起义的时候，又迫切需要有范围较大的政区，这是一个两难的问题。东汉王朝为免于被黄巾起义所推翻，不得不把监察区改成行政区，而最终却不免在大行政区各自为政的情况下被颠覆。
三国时代以后，州一郡一县三级政区制已成为正式制度。三级制实行之初，还算正常，以十数州之地辖百来郡、千余县，层次与管理幅度相称，比例适当，州、郡、县三级都能发挥作用。以西晋前期为例，19个州统辖172个郡国，1232个县。平均每州辖八九个郡，每郡辖七八个县，基本合理。
西晋的统一时间很短，只有20多年功夫，便陷入八王之乱，继而在长期的动乱中倾覆。于是分裂局面再度出现。因此可以说，在中央集权尚未高度发达的时候，实行三级制以及第一级政区幅员过大都是酿成分裂割据的因素。
东晋以后，南北分裂对峙局面延续了270多年。分裂往往带来战乱，在战争中立功的武人以及敌方来降的将领，政府都要给予封赏。而封赏之物则是州刺史、郡太守等职务。为了应付越来越多的职务分配要求，政府只得把州、郡的区划分割得越来越小，《宋书·志序》形容当时这种情形说，“一郡分为四五，一县割成两三”，造成普遍的“虚号相假”的局面。但直至南朝梁朝前期，问题还未到十分严重的地步。梁天监元年(公元502年)共有23州，326郡，1300县。然而不到半个世纪，形势大变，州郡数的增加达到恶性膨胀的地步。梁中大同元年(公元546年)已有104州，586郡。就在这一年，北朝的东魏、西魏对峙政权也共有116州，413郡。这样，南北朝合计，共有220州，999郡，比两个半世纪以前的西晋，州膨胀11倍，郡膨胀10倍。
这种极端混乱的状态也是南北朝政府中央权力衰败的征象。中央政府对地方政权已经失控，地方权力也近乎解体。在此期间，虽然也出现过打算改革的皇帝，如代东魏而立的北齐文宣帝，就针对当时的混乱局面说：“牧守令长，虚增其数……百室之邑，便立州名；三户之民，空张郡目。”(《北齐书·文宣帝纪》)揭示由于州牧、郡太守、县令长职位大量增加，而不得不膨胀州郡县政区的反常现象，于是动手并省了部分州、小半的郡及半数的县。
但当时的问题已经非常严重，所需改革的是整个体制，而不是简单地并减州郡。齐文宣帝的行动并不能完全遏制政区混乱状况的进一步恶化，在取代西魏的北周统一北方之后的大象二年(公元580年)，就共领有属州211个、郡508个、县1124个。此时不但州数已接近30多年前南北朝双方州数的总和，而且三级政区数目之比已降至1：2：6的最低水平。换句话说，平均每州只辖两个郡，每郡只辖三个县。这是就平均的情况而言，若从特殊现象来看，甚至出现两郡共管一县或两州合管一郡的怪事，这种现象被称为双头郡县或双头州郡。
政区的层级和管理幅度达到如此不协调的地步，说明三级制至此已是穷途末路，必须改弦更张了。改革的办法也很简单，只需将中间郡一级政区撤销就可以。事实上，在州刺史大量增加以后，郡太守在许多地方已不管事，仅只备员领俸而已。但是撤销郡一级政区的行动却直到全国统一的前夕才付诸实行。隋代周以后，大臣杨尚希向隋文帝上表，陈述“当今郡县，倍多于古，或地无百里，数县并置，或户不满千，二郡分领”的不正常现象，建议“存要去闲，并小为大”，对行政区划进行一番整顿。隋文帝接受这个建议，但不是采取并省州郡的简单措施，而是“罢天下诸郡”(《隋书·杨尚希传》)，釜底抽薪，丢掉三级制这个包袱，使行政区划层次再次回到二级制来。当隋灭陈，由北到南重新统一中国后，州一县二级制便推行到全国。