曹魏后期，大权落入司马氏集团手中。咸熙二年(公元265年)，司马氏废魏帝自立，建立晋朝，史称西晋。建兴四年(公元316年)，匈奴贵族刘聪攻陷长安，西晋灭亡。建武元年(公元317年)，司马睿在南北世家大族的支持下，在建康(今江苏南京)重建晋的统治，史称东晋。
西晋初年，司马炎为巩固司马氏的统治，对兵制进行了一些改革。汉魏以来，历届统治者鉴于汉初吴楚七国之乱，大都注意不使诸侯王的实力扩张。虽然也分封同姓诸侯王，但都是虚封，特别是曹魏时期，对诸侯王的控制更严。据记载，曹魏“封建侯王，皆使寄地空名，而无其实。王国使有老兵百余人，以卫其国。虽有王侯之号，而乃侪〔chai柴〕为匹夫。悬隔千里之外，无朝聘之仪，邻国无会同之制。诸侯游猎不得过三十里，又为设辅监国之官以伺察之。”所以，即使在中央以宗室(如曹真)掌兵权，但因外无屏蔽，一旦中央权力发生转移，政权就随之丧失。司马炎称帝后决心改变这一状况，进行兵制改革。改革的主要内容是撤销地方武装，大封同姓诸王和任用宗室诸王出掌外军大权，目的是削弱地方实力，加强司马氏家族对军队的控制。泰始元年(公元265年)，司马炎开始大封同姓王，一开始就封有27个王，大国五个，次国六个，小国16个。大国食邑2万户，置上、中、下三军，兵5000人；次国食邑万户，置上、下两军，兵3000人；小国食邑5000户，置一军，兵1500人。灭吴统一天下后，司马炎认为天下大定，应该“偃武修文”，“息役弭兵，示天下以大安”，下令撤各州郡地方武装，以加强中央集权。与此同时，司马炎以宗室诸王出掌外军，如使其子秦王司马东都督关中，淮南王司马允都督江、扬二州，楚王司马璋都督荆州等。这些改革措施，不但没能加强中央集权，反而使中央集权大为削弱。宗族血缘关系没能阻止各诸侯王之间的争权夺利。各王掌有重兵，没能起到维护中央集权的作用，反而成了中央集权的最大破坏者。兼任都督的诸王，既是方面军的统帅，又是地方民政长官；既有诸侯王的一套官属，又有以大将军身份开府后任用的一批幕僚，军政大权集于一身，从而刺激了他们分裂割据和争夺全国统治权的胃口。司马炎死后不久，就发生了八王之乱。这次动乱历时16年，先后有八个诸侯王参与。八王之乱动摇了西晋的统治基础，导致了西晋的灭亡。
西晋的兵役制度是世兵制，中外军全部兵员都来自军户。凡为兵者皆入军籍，不与民户相同。军户的社会地位较郡县民户为低，但尚未被社会贱视，许多士族名流还不耻于与世兵子弟交往，世兵子弟也照样可以当官为吏。如《晋书·王尼传》记载，世兵子弟王尼在护军府任军士，负责养马，当时名士胡毋辅之、琅玡王澄、北地傅畅等人都愿和他交往，在一起“炙羊饮酒，醉饱而去”。正因为如此，世兵制在西晋时完全可以保证中外军的兵源，而且世兵的战斗力也较强，从而使世兵制进入全盛时期。
西晋建立后，不设丞相，国家的政务由中书省和尚书台负责。在军事方面，任命重臣为都督中外诸军事，代表皇帝指挥全国军队。日常军务方面，由尚书台的五兵曹负责。除都督中外诸军事外，西晋还设有众多的将军，如大将军、骠骑将军、车骑将军、卫将军以及抚军、辅国、四征、四镇、四安、四平等将军。这些将军都是官阶，而非官职，并非一定统军。真正统军的武官，一般都要加上都督诸军、监诸军、督诸军的职称和使持节、持节、假节的称号。其中以使持节、都督诸军的权力最大，所属军队中的人事任免、奖惩、管理训练、作战指挥以及后勤供应等方面事务，均在其职权范围内。持节、监诸军的权力次之，假节、督诸军又次之。
西晋的中军驻守京师，其中警卫宫廷和京城的部分称为宿卫军，驻屯在京郊，作为国家控制的机动部队的称牙门军。宿卫军和牙门军统称为中军。宿卫军主要由左右卫、骁骑、游击、领、护六军组成。另外，还有左、右、前、后四军，屯骑、步兵、越骑、长水、射声、翊军六校尉。此外，太子东宫的前、后、左、右、中五卫率也属宿卫军。宿卫军兵力有五万，后来经过八王之乱，中军兵力受到削弱，最后在洛阳被刘渊全部歼灭。
中军统帅是中军将军，后分别改为北军中侯和中领军。
西晋的外军是指屯驻在京城以外各地的驻防军，包括两部分：一是各地都督府统领的军队，一是各封国所置的军队。西晋建立过许多都督府，其中最重要的有关中都督、幽州都督、荆州都督、豫州都督、徐州都督、扬州都督、冀州都督、沔北都督。都督一般都有将军或大将军官阶。各都督府所统军队，数量很大，总兵力有30万人左右，远远超过中军。大的军府兵力有四五万人，小的军府也在万人以上。各封国所属军队，也属外军。西晋共分封了500多个王、公、侯国，封国均可设军队。若把所有封国军队加起来，也是一个不小的数目。
中外军制度到东晋开始走向混乱。东晋的中军名称一依西晋，还有领军、护军、左卫、右卫、骁骑、游击六军和五校尉，但兵力大为缩小。与中军同驻建康的，还有扬州都督所属军队。因此，东晋的中外军名号虽存，制度却非常混乱。
东晋的外军是由都督率领的中央直辖军。各都督所领兵力多少不一，战斗力也强弱不等。总的看来，以北方流民组成的军队战斗力较强，其中尤以后期的北府兵最负盛名。北府兵是带有征北、镇北等将军称号的都督军府所统之兵。东晋建都建康，徐州在建康以北，所以徐州都督多以带北字的将军充任，其军府简称北府，所领之兵称作北府兵。淝水之战就是依靠北府兵取胜的。后来，刘裕利用北府兵控制了东晋政权，北府兵就演变为东晋的中军。
东晋的兵役制度仍以世兵制为主，但由于世兵社会地位日趋卑贱，世兵的战斗力逐渐下降，这一兵役制度从此趋向衰落。
东晋建立后，由于兵源缺乏，不得不采用调发奴隶、查征隐户、搜捕逃民和使用罪犯等手段增补军户。这样，东晋军户的成份便大异于西晋的军户了。加上当时门阀制度已经形成，封建等级和门第观念对社会已产生深刻的影响，而军户本身所受到的经济剥削和政治压迫又比一般民户更重，生活极为困苦，实际上已接近于贱民阶层。在这样的情况下，世兵因反对压迫而逃亡的现象越来越严重，战斗力也越来越弱，士气越来越低。东晋政府只能转而依靠招募来补充军队。如东晋初年，祖逖北伐，因兵力太少(司马睿仅给他1000兵)，只能自行招募。北府兵的大多数兵士也是招募而来。到了后期，募兵所占的地位越来越重要。
招募兵与世兵不同，既非终身为兵，更非世代为兵，待遇也较好。所以，由募兵组成的军队，士气较高，战斗力也较强。