十六国后期，北方经过长期战争，渐趋统一。公元386年，鲜卑族拓跋部建立代政权。公元398年拓跋珪改国号为魏，史称北魏。公元439年(北魏太延五年)，北魏统一了黄河流域。北魏永熙三年(公元534年)，北魏分裂为东魏和西魏。后来，东魏被北齐取代，西魏为北周取代。历史上将北魏、东魏、北齐、西魏、北周政权称为北朝。
拓跋珪称帝前，代政权仍具有部落联盟性质，各部落都有部落大人，军队仍然是部落兵。拓跋珪称帝后，建立了一国两制的军政体制。一方面继承魏晋的封建制度，在中央设立尚书、中书、门下三省；另一方面仍沿袭鲜卑旧制，实行八部大人制，以八部大人分统京城周围以鲜卑人为主体组成的军队。以皇帝为中心，有八部大人参加的会议是当时最高军事决策中枢和权力中心。拓跋焘即位后(公元423—452年在位)，废除八部大人制，加强尚书省的权力，以加强中央集权。北魏孝文帝(公元471—499年在位)改革后，汉化(即封建化)程度进一步加深，各项制度基本上都仿照魏晋和南朝。由皇帝任命的全国最高军事统帅也称都督中外诸军事，负责数州或一州的主将是都督某州诸军事。战时统军主帅也称都督，重要的方面军统帅，则称大都督。北魏皇帝一般亲自指挥重大战争，所以都督中外诸军事和大都督一般不轻授。
北魏军队由中军、镇戍兵、州郡兵三部分组成。
中军又称台军，是北魏军队的主力，任务是宿卫京师，出征作战。北魏前期，中军多为鲜卑族部落兵。孝文帝改革后，中军称为羽林、虎贲。太和十九年(公元495年)，曾“诏选天下武勇之士十五万人为羽林、虎贲以充宿卫”(《魏书》卷七下《高祖纪》)，同时以汉人充实中军。中军的指挥，前期称都统长，下设幢将、四厢大将、十二小将等统兵官。后期设领军将军一人，总统中军，下设左、右卫将军各一人。京师周围设置关津，以东、西、南、北四中郎将领兵镇守，而以护军将军总统四中郎将，捍卫京师。
镇戍兵是北魏为防备北部游牧民族的侵扰而设置的武装力量。后来，在南部边境也置兵镇守，这些兵称为镇戍兵。其主要任务是戍边守土，战时也配合中军出击。镇设镇将，戍设戍主。镇将地位相当于州刺史，戍主则常由郡太守兼任。当时在北部设置六个军镇，这六镇由西向东分别是：沃野镇(今内蒙古五原北)、怀朔镇(今内蒙古固阳西南)、武川镇(今内蒙古武川西)、抚冥镇(今内蒙古四子王旗东南)、柔玄镇(今内蒙古兴河西北)、怀荒镇(今河北张北)。北魏末年，由于六镇军户不堪镇将压迫，发动起义，由此揭开北魏末年大起义的序幕。
州郡兵是州郡属下的地方兵。
北魏军队的编制是军、幢、什、伍。军是最高编制单位，设军将、军副。一军所统员额，史书无明确记载，大致是5000人左右。幢有幢主、幢副。一幢所统之兵也无明确记载，一说500人左右。
北魏的兵源和兵役制度带有鲜明的民族特点。北魏前期，其兵源主要来自鲜卑族和其他少数民族，汉族人只“服勤农桑，以供军国”(《魏书》卷二八《刘洁传》)，不服兵役，最多只充当军中杂役。孝文帝改革后，汉人当兵才逐渐多起来。
北魏的兵役制度主要是世兵制，同时也实行征兵和募兵制。中军和镇戍兵主要来自世兵，州兵则由征募而成。
北魏前期继承鲜卑旧制，成年男子都是兵士。由于战争连年不断，服役的士兵很难复员，其家属也长期随军，成为与魏晋军户相似的营户。营户另置户籍，随军聚居于各城堡中，由军府负责管理，所以营户也称为镇户、府户或城民。兵士终身为兵，世代相替，形成具有北魏特色的世兵制。
世兵制在刚刚形成时，由于营户、镇户的成员主要是鲜卑人，因此有很高的社会地位。随着封建化的完成，一些将领、军官成为封建贵族，广大镇戍兵却降为半奴隶地位。孝文帝执政时期，营户的地位逐渐和东晋的军户一样，低于一般民户。
东魏的军政大权一直为高欢父子把持，他们以丞相兼天柱大将军或都督中外诸军事，掌握东魏实权，是东魏实际上的最高军事统帅。丞相府设有中兵、外兵、骑兵、刑狱等参军。后来，高洋逼孝静帝元善见退位。自己称帝，于是“罢相国府，留骑兵、外兵曹，各立一省，别掌机密”(《北齐书·文宣帝纪》)。以后又改设五兵尚书，下分左中兵、右中兵、左外兵、右外兵、都兵五曹，五兵部遂成为北齐军事统帅机构。
东魏、北齐的兵役制度以世兵制为主，也实行征兵和募兵。北齐时期，由于政治腐败，军纪废弛，中外军的战斗力都很低。在这种情况下，将领多招募私兵和部曲，用于私家护卫和杂役，有的也用于征战，这也可算作北齐兵制的一个特色。其他制度均沿袭北魏，毋庸赘述。
西魏立国共22年(公元535—556年)，整个军政大权一直掌握在都督中外诸军事、大丞相宇文泰手中。北周建立之初，军政大权多掌握在任都督中外诸军事的权臣之手，直到北周武帝宇文邕〔yong拥〕执政时才亲自掌握了军权。但宇文邕掌权仅六年便病逝，其子宇文赟〔yun晕〕即位，两年后又禅位于他七岁的儿子宇文阐，军政大权遂落入大丞相、都督中外诸军事杨坚手中。所以，北周立国的25年(公元557—581年)中，除宇文邕执政时皇帝是国家最高军事统帅，其余时期，都是任都督中外诸军事的权臣掌握军权。都督中外诸军事府，也就成为最高军事统御机构。都督中外诸军事府，简称中外府，设有长史、司马、兵曹、外兵、功曹等参军和郎中、椽、属等属官，还有领左、右厢亲信等军官，指挥最高统帅直接控制的亲信军队。
北周军队作战，往往临时任命行军元帅，统一指挥军事行动。指挥一路或一个方面的主将称为行军总管。如建德六年(公元577年)，宇文邕以齐王宪为行军元帅，赵王招、谯王俭、滕王逌〔you由〕为行军总管讨伐北齐。
西魏、北周兵制中最引人注目的还是府兵制。
府兵制既有少数民族部落兵制的残余痕迹，也有汉魏以来征兵制及世兵制的因袭成分，是在特定的历史条件下形成的一种制度。
西魏大统八年(公元542年)，宇文泰把魏晋以来汉族政权长期实行的军民分籍制度同北魏早期实行的八部大人制度结合起来，进行军事改革。宇文泰把全军分为六军，每军由柱国大将军统领；六柱国各管二大将军，每大将军各管二开府将军，合计共有六个柱国大将军，12个大将军，24个开府将军。大统九年(公元543年)后，宇文泰为扩大兵源，将关陇地区的豪强所拥有的部曲和乡兵纳入府兵系统。大统十五年前后，宇文泰在六军的基础上，对中央直辖军重新编组，并在大统十六年“籍民之有材力者为府兵”(《玉海·兵制》引《后魏书》)，府兵制度至此初步形成。
宇文泰为了给新制度下的官兵关系蒙上一层部落化色彩，迎合属下官兵对早期部落兵生活的向往(宇文泰所控制的部队，多为原六镇的鲜卑镇户，他们对过去被人贱视的经历记忆犹新，因而向往早期部落兵生活)，下令各有功将领，分别继承为鲜卑36大部和99氏族的子孙；不论是汉族还是其他民族的官兵，一律改为鲜卑姓(孝文帝改革时，将鲜卑姓改为汉姓，如拓跋改姓元等)。功大者改为36大部之姓，如李虎改姓大野氏、杨忠改姓普六茹氏等。功小者改姓99氏族之姓。这些将领的部属，也全部随主将姓。主将对部属，从血缘关系上说是宗长，从部落关系上说是酋长，从军队关系上说则是首长。六军象征六大部，宇文泰统率六大部，恰似部落联盟的军事首领。经此改革，使曾经沦落为半奴隶的原六镇镇户的社会地位有所提高，从而提高了军队的士气和战斗力。
府兵在名义上是中央宿卫军，但实际的领导和指挥权却在任都督中外诸军事的权臣手中，直到宇文邕杀了宇文护及其一批亲信大将军之后，府兵才归皇帝领导和指挥。宇文邕为集中兵权和扩大兵源，采取了两项措施：一是把府兵士兵改称侍官，府兵半月入伍训练，半月入京宿卫，使府兵成为名副其实的中央宿卫军，削弱府兵对柱国大将军的依赖关系，加强皇帝对府兵的控制；二是募百姓为府兵，被募为府兵的汉人民户变为府兵户。经过这一改革，作为兵役制度的府兵制趋向定型。
府兵制形成之初，府兵另立军籍，不与民同。府兵除值勤、训练、作战外，不承担其他赋税徭役。家属随军聚居。直到北周武帝天和元年(公元565年)，还“筑武功、郿、斜、谷、武都、留谷、津坑诸城，以置军队”(《周书·武帝纪》)。当时，作战和执勤任务较重，军士又多为六镇鲜卑兵和关陇豪右的部曲，没有农耕习惯，府兵不从事农业生产，兵农分离，军士及家属仍居于城内军坊，由坊主管理。经宇文邕改革，府兵的来源主要是均田农民，他们的家属仍然留在原地从事耕作。由于府兵数量激增，在没有战争的情况下，府兵不必总是集中起来，也可以让府兵参加部分生产劳动，这样，按府兵所在地区而划分的军府出现了。在作战或执勤时，军士入营，由军官领导、指挥；没有作战执勤任务的，分住于本乡，组成乡团，由军府所属的团主管理。府兵平时参加农业劳动，农隙时进行军事训练。这样的军府和府兵，就是府兵制度下的军府，也称土著军府。这种土著军府，一般为仪同府，由当地豪门望族任仪同将军。
西魏、北周立国时间虽然不长，但府兵制的建立，对当时和后来军事制度的发展却产生了深刻影响，在中国军事史上占有重要地位。
西魏、北周的军队也有中外军之分。中军以府兵为核心，是军队的中坚和主力。对外战争常以中军为主力进行。如建德四年(公元575年)伐齐，17万大军中中军占2/3，建德五年(公元576年)伐齐，15万大军全是中军。
中军以府兵为主，府兵之外尚有禁军。禁军是守卫皇宫和皇帝外出时护驾的兵，又称亲信兵、帐下兵，领军将领是皇帝的心腹。禁军负责宿卫宫廷内外，府兵负责整个京城及其附近要害地区的宿卫任务。
外军包括州郡兵、乡兵和镇戍兵。州兵的最高指挥，西魏时原为都督或大都督，一般由州刺史兼任。有的重要方面，要都督几个州甚至几十个州的军事。至北周时，宇文护为加强对州郡兵的控制，首先将雍州(今湖北襄阳)刺史改为雍州牧，自领牧守；其次将州刺史兼都督军事改称总管，除任命亲信宇文宪为益州总管、宇文直为襄州总管外，后来在襄州设总管府总领荆州、安州、江陵等总管。其他各州郡都依例作了改变。
乡兵是地方武装。西魏初年，“广募关陇豪右，以增军旅”。这些被招募的人，部分随军出征，部分留守地方，留守部分即成为乡兵，当地豪强以帅都督衔统领之。
西魏、北周除在北方为防柔然、突厥侵扰而仍如前代设军镇外，又在关隘要地另设镇戍兵。领兵将领或称镇将、防主，或称城主、戍主。