隋文帝的做法无疑是一场重要的改革，从此展开了政区层级变迁的第二循环。这场改革旨在通过减少政区层次，来加强中央集权，避免地方割据。但是还有第二项改革必须进行，那就是经过500年的变迁，州、县数目已经太多，区划已经太小，尤其是州，在隋代一统之后，总数有300多，由中央政府直接管理很不方便，必须加以调整。
这项任务由隋炀帝来完成，大业三年(公元607年)，大举并省州县，并改州为郡。并省之后，全国仅存190郡，1255县，平均每郡统辖六七县。隋炀帝仰慕汉代制度，除改州为郡外，为便于中央政府的控制，又模仿汉武帝的做法，置司隶刺史，分部巡察(图4)。
图4 隋代分郡图
经过改革调整以后，隋代的行政区划体系应该说是比较完善的。但历史常常开人们的玩笑，隋代又蹈袭了秦代二世而亡的结局。郡县二级制施行不过十数年，残暴无道的隋炀帝就被农民起义打落了皇冠。唐代开国以后，郡又被改为州。隋唐之际群雄并起，大凡归唐者，都被委以刺史之职，于是州的数目又膨胀了起来。尤其在广西、湖南、四川一带的少数民族地区，州的设置更加密集，因为当地的首领表示归顺都成了州刺史。后来虽经唐太宗在贞观元年(公元627年)作了并省，到贞观十三年(公元639年)依然还有358个州，县则有1551个。
隋唐的二级制，虽然模仿秦汉制度，但行政管理形势已经不可同日而语了。隋的疆域比秦大，唐的统治比汉深入，郡(州)的数目则无法缩减到百数左右。对于隋唐郡(州)的管理幅度而言，六七县或四五县范围均嫌太小，而对中央政府来说，管理二三百个郡(州)却是很大的问题。据说唐太宗曾把300多名州刺史的名字写在屏风上，经常检查他们的政绩，以决定奖惩升降。当时就有人从官职设置的角度来评论这一行政体制，认为得100个良二千石(郡太守)已不容易，何况得300个好的州刺史，因此必须在二级制政区之上再加一层监察区，对刺史加以纠察。唐初极力避免这样做，担心监察区有变成行政区的危险。但是形势还是一步一步地朝着设置监察区的方向发展。
监察区在唐初虽可不设，但派遣监察官员却是势在必行，而一旦派出监察官员，就有分区负责的必要，即使名义上不设监察区，实际上已有雏形了。唐代监察官员的分区是按基本交通路线来划分的，所以称为道。贞观元年(公元627年)，按山川形便分全国为10道，形式上虽然是地理区划，其中已暗含监察的意味。
整个唐朝前期就在一种含糊的情况下度过，其间有一度打算分全国为24都督区而未成，反对者认为这样做分权太重。直到唐玄宗开元年间(公元713—741年)，才终于正式定下监察区的体制，将贞观10道分割为15道，“每道置采访使，检察非法，如汉刺史之职”(《旧唐书·地理志》)。正式设置监察区一方面是唐玄宗踌躇满志的表现，开元盛世使他对局势充满信心，不去顾及监察区的变化前景；另一方面，没有固定的监察区也确实给监察工作带来许多困难，监察官员在首都和监察地点之间来去如飞，监察效果也就大打折扣。
然而，监察区一经固定，监察官员一任常职，变为行政区、变为行政官员的可能性就是指日可待的事，只要一有催化剂就能促成这一转变。果不其然，这一催化作用就在20年后发生了。
“渔阳鼙鼓动地来”。天宝末年，安禄山的叛乱搅散了唐玄宗的太平清梦，新的三级制行政区划就在金戈铁马的撞击声中出现了。
先是唐玄宗为了边防的需要，在边境地带设置了10个节度使辖区(即方镇)。本来节度使只管军事防御，或“遏四夷之事，不与民政”。后来身兼范阳、平卢两节度使(辖今北京市和河北东北部)的安禄山大受唐玄宗宠信，使之兼任河北道(辖今河北、河南北部、山东西北及东北地区)采访使，开了集军政、民政大权于一身的先例。安禄山正是凭借这个有利背景而发动叛乱的。
为了扑灭安禄山及其后继者史思明的叛乱，唐朝政府不得不采取战时紧急措施，在全国普遍设置方镇，任命一大批上马管军下马管民的节度使。叛乱爆发后的一二年间，全国已设置44个方镇(图5)。等到平叛战争结束，这些战时区划仍然保留下来，节度使兼采访使的制度也固定下来，而且两使兼而为一。虽然在东南地区有的节度使改名为观察使，但兼掌军政大权的实质是一样的。于是，在州县二级制以上就自然形成了新的一级政区。本来，节度使辖区称为方镇，但因采访使原是道一级的长官，节度使既兼采访使之职，这级政区也就以方镇和道互称，因此唐后期的政区体制就成了道(方镇)—州—县三级制。历代行政区划层级的变迁完成了它的第二个循环。唐代后期的方镇数目大约在40—50之间波动，每镇辖三四州至十来州不等，每州则统四五县之谱。
图5 元和方镇图
方镇的存在严重地削弱了中央政府的权力。尤其是河朔地区(大致相当今华北地区)的方镇通过平叛战争取得很大权力，造成割据形势：主帅(节度使)职务可以世袭或由将士拥戴，财赋不交国库，户口不上版籍，俨然与朝廷分土而治，有如古代诸侯，所以又称藩镇。唐代最终亡于藩镇割据，而且还祸延五代十国，造成中国历史上第二个长期分裂的局面。这一历史教训，无疑给宋代的统治者上了深刻的一课，使他们更加觉得三级制是绝对采用不得的。所以宋朝开国伊始，立即收节度使所领诸州以归中央，实际上一时间又成了州县二级制，似乎第三个以二级制为开端的新循环又要出现。
但是，汉唐两代的经验又已表明，在一个幅员广袤的国家中，要施行纯粹的两级制是有很大的困难的。尤其是在统县一级政区(汉的郡、唐的州)数目很大的情况下，不在二级制之上设置监察区是不可能的事，但是设置监察区的后果必然是走向三级制政区，从而引起中央集权的削弱，最终造成混乱分裂的局面。如何突破二级制到三级制循环不已的这个怪圈，正是宋王朝成立以后所遇到的首要问题之一。
在解决这个问题时，宋代的统治者是很花了一番心血的。第一步是对节度使“收其支郡，夺取兵权，制其钱谷”。支郡就是方镇所属各州，借用汉初王国属郡的称呼。节度使失去政权、兵权和财权后，变成一个虚衔，有名的“杯酒释兵权”说的就是这个故事。之后，政府另派中央官员作为知州，直接管理各州政务，但原来的州刺史依然保留。知州的全称是权知军州事，意思是暂时代管该州军事行政事务。其实知州是固定官职，只不过名称上耍了花招而已，后来罢去刺史，就把“权”字省掉了。县级政区的官员也照此办理，派遣中央官员担任知县以代替原来的县令。
宋初在方镇取消之后，有一段时间，没有新的行政区划来代替。州级政区成为中央直辖单位。后来，宋代统治者从唐代转运使的设置得到启发，将这一临时差使变成固定官职，以之经度和转输地方财赋。既要转输，必须与交通线有关，因此“又节次以天下土地形势，俾之分路而治”。于是路成为州以上的新型行政区划。
在转运使之后，负责监察、司法之职的提刑按察使，负责治安边防的安抚使，负责储备粮食平抑物价的提举常平使等官员也相应设置。这些官员的衙门通称诸监司，分称则为漕、宪、帅、仓诸司。这些监司的行政管辖地域都称为路，但各监司的路并不尽一致，从转运司看来为一路的，在提刑按察司却是两路，而在安抚司却可以是四路。即使当两司的路一致时，两司的治所(行政中心)有时也不在同一地(图6)。
图6 北宋分路图
因此，宋代行政制度的特点是：第一，不在州以上设置统一的高级地方行政机构和单一的行政首长，而是把这一级的事权分属于不同的部门——监司。第二，不在州以上设置高级的单一行政区划，而是尽量使诸监司分路不相一致，形成一套复式路制。这两个特点表明宋代路的建置是先设官分职，然后再体国经野，恰与历来的传统相反。第三，各州依然保留向中央政府的直接奏事权。这三个特点的存在使路不成为严格意义上的最高一级行政区，中央与路州县三级成为如下关系：
这样的关系从权力的分配来讲，可以称之为二级半或虚三级制。但是单纯从区划的观点看来，路仍是州级政区以上实际存在的一级区划，因此从行政区划体系看，宋代还是可以称为三级制。
宋代由于采用路制，中央集权高度强化，而地方处于极度分权以至无权状态，这就使对外的边防和对内的治安能力大大减弱。西北虽设有众多安抚司路，但只管兵而不管民，只理军政而不理财政，抗御外侮能力极差，对内镇压农民起义的能力也受影响。所以有宋一代，内忧外患不止。
但就专制皇权而言，宋代统治者在权衡利弊之后，愿意接受的还是这种内重外轻的局面。尽管当的是弟皇帝、侄皇帝，甚至儿皇帝，都可以忍受得了。无能御侮，可以纳币，可以献土；无力镇压，可以羁縻〔ji mi 机迷〕，可以招安，总之，他们认为由此可以维持一姓天下和万年天子的局面。而一旦形势变为外重内轻，则会引起分裂割据，江山易手，什么皇帝也当不成了。当时人颇有批评州县官员权力过小、路级官员权力分散的弊端的，但都不能得到采纳，原因就在于此。
然而长期积弱的结果，王朝虽不亡于农民起义和藩镇割据，却要亡于外敌入侵。北宋江山在屈辱的城下之盟以后维持了100多年，仍不免亡于金人之手。余下半壁江山在风雨飘摇之中度过一个半世纪，又再度亡于蒙古铁骑。这一亡再亡的根本原因之一就是地方无权，正如南宋陈亮所言之“郡县空虚，而本末俱弱”。民族英雄文天祥则感叹道：“宋惩五季之乱，削藩镇，建郡邑，一时虽足以矫尾大之弊，然国亦以寝弱。故敌至一州则一州破；至一县则一县残，中原陆沉，痛悔何及。”(《宋史·文天祥传》)
辽金制度，前者仿唐，分五道，下辖州县，后者师宋，设20余路，亦下统州县。辽与北宋俱亡于金，而金与南宋又都为蒙元所灭。蒙古铁骑自千里大漠南下，亡金，平西夏，并西辽，取大理，灭南宋，造就了一个空前广袤的蒙元大帝国，其行政区划体制于是混合并用了不同政权的原有制度，形成一套复杂、紊乱的多级制体系，揭开了政区层级变迁的第三个循环。