西晋末年，在反晋民族大起义中，各内迁的少数民族纷纷建立民族政权。西晋灭亡后，这些政权的贵族统治集团在北方长期混战，在北魏统一北方前，先后建立的政权近20个，主要有16国，史称十六国时期。除前凉、西凉、冉魏、北燕等政权外，其他政权都是少数民族建立的，因而它们的兵制具有鲜明的民族特色。
十六国时期，各少数民族政权多实行异族分治制度，或称为胡汉分治制度，在一国之内，实行两种不同的军政体制，以保证他们对其他被统治民族的军事统治。据《资治通鉴》记载，南凉大将鍮勿仑认为，为了保持他们“雄视沙漠、抗衡中夏”的长处，必须对汉族和本族分开治理。即“处晋民于城郭，劝课农桑，以供资储；帅国人以习战射，邻国弱则乘之，强则避之”(《资治通鉴》卷一一一)。对汉族人民，仍按汉族地主阶级的传统方法进行统治；对少数民族，则按各自的部落传统进行统治。以汉和前赵为例，其最高统治者仿汉制称皇帝，但在皇帝之下，仍按匈奴旧制设大单于一职，主管少数民族。大单于下设单于左、右辅，协助大单于统领军队。由于大单于实际上是最高军事统帅，所以一般由皇帝自兼，也有任命太子或太弟担任此职的。在地方上，对汉族地区，一般仍实行州、郡、县制，设刺史、太守和县令长等主民政，设都督、将军、校尉等专管军事。对少数民族地区，则按照他们的传统习惯，实行部落和政权合一的设置，设城主、镇将、都护、部大人、都大人等进行统治。
各少数民族政权的军队，形式上仍沿袭魏晋，分中外军。统领中军的仍称中军将军、中领军，统领外军的仍称都督。中外军的最高统治者有的也称都督中外诸军事。但实际上，由于战争频繁，军队又经常集中使用，中外军的界限已不明显，而且也不是以驻地为区分的标准。当时的情况是，以本族部族兵为主组成的部队，都属于中军。其中最精锐的部分，由皇帝(王)亲自领导和指挥，称禁卫军或禁兵。归附和投降过来的其他民族的军队和驻守外地的军队属于外军。由中央委派到各地的持节都督或城主、镇将、护军等统领，由于他们长期驻扎外地，有机会招兵买马，筑城修堡，发展个人势力，因而往往变成割据势力。
除中外军外，还有州郡兵。州郡兵本属地方武装，由州刺史或郡太守统领，主要任务是维持地方治安，有时也应调出征。
私人武装的强盛是十六国时期的一个重要特点。兴起于东汉王朝末期的豪强地主势力，在西晋末年天下大乱之际，有了迅速发展。到十六国时期，更出现了坞堡林立的局面。凡有势力的地方豪强，无不结堡自卫。每个坞堡主，都有为数不少的部曲、家兵。因政局动乱，各政权无力控制，坞堡遂变成半独立的政治军事实体，直接参与军事行动。如淝水之战后，苻坚力量大为削弱，关中诸壁垒3000余所，皆遣兵负粮帮助苻坚。西晋末年，黄河以南地区，坞堡林立，各不相属。后来祖逖北伐，曾依靠坞堡主共抗石勒，取得不小的胜利。这些坞堡主归附某个政权后，往往被任命为地方长官或军事统领，原有私人部曲仍归其统领，但纳入国家军事系统，变成外军。
各少数民族政权实行全民皆兵的制度。这些少数民族，尽管进入中原的时间有先有后，各自的社会发展程度也不尽相同，但从社会结构上说，大体上都属于部落组织形式。落为邑落，为各近亲家族，是社会的基层组织。落上为部，是各近亲家族的联盟。每部所统落的数量不等，大者以千计，小者以百计。部的首领称大人、渠帅、酋长等；落的首领称小帅。部落首领，原来由推选产生，后演变为世袭。与此社会结构相一致，在部落内部，实行部落兵制，全族皆兵。凡成年男子，都是战士，平时生产，战时出征，亦兵亦牧(农)，耕(牧)战合一，军械粮秣自备。各少数民族政权的首领，最初均是依靠部落兵起家。建立政权后，部落兵成为国家军事力量的主干，构成中军。从外表上看，这时的中军，与部落兵没有多少差别，但在性质上，已演化成国家的常备军。中军的家属随军，分住于各营，称为营户。屯驻于外地各军镇的外军，其家属也随军，称为镇户。外军虽不完全是本族人充当，但在胡汉分将制下，居于同一军事据点或统属于同一军将的，基本上属于同一个民族。营户和镇户，是中外军的主要兵源。他们既是兵，又是民，自己生产粮食，户籍单独编制，不归郡县管理，直接隶属于军将。军将既是他们的军事统帅，又是他们的行政长官。这些营户和镇户兼有少数民族全民皆兵和魏晋世兵制的特点。营户和镇户的成年男子，均是终身为兵，而且父死子继，兄终弟及。这反映了少数民族原有制度与中原地区制度的相互融合。
除少数民族部族兵外，各政权中还有汉族兵，汉族兵中实行世兵制。
各少数民族政权还通过招募、强征和收降扩充军队。
招募的对象主要是民户。民户大部分是汉人，也包括身居内地、文化程度较高的少数民族。
征兵是在紧急情况下临时实行的，不是常制。大战来临，国家感到兵力不足，往往下令征兵。被征士兵服役时间的长短，依战争需要而定，一般情况是战争一结束，即复员还乡。
收编其他军事力量，特别是中原地区的坞堡力量，也是这一时期扩大兵员的一种方法。
十六国时期汉族建立的几个政权，其兵制大体延续魏晋，不再赘述。