西魏的实力几年间迅速增强，固然托了侯景之乱的福，但宇文泰在国内如火如荼的军事与文化改革，才是最关键的因素。吕思勉先生评价说：“从来北狄入中国者，其能否有成，恒视其能否通知中国之情形。以此言之，则尔朱荣不如高欢，高欢又不如宇文泰……（宇文）泰颇知治体。”
西魏的府兵制从河桥邙山之战后开始建立，到文帝大统十六年（公元550年），已经基本成型。此时的府兵制形成了一整套完善的六柱国体系，六名柱国大将军依次是：李虎、李弼、独孤信、赵贵、于谨和侯莫陈崇。
西魏所封的柱国一共有八个，另外两名是宇文泰自己和西魏宗室、孝文帝的侄子元欣，宇文泰总揽大权，位居众人之上，而元欣的柱国身份，更多的是对宗室的安抚，基本上是个虚职，没有多少实权，也没有资格统领军队。六柱国的实权，是直接都督两名大将军。大将军的战功与资历仅次于柱国，包括达奚武、李远、杨忠等十二名屡次跟随宇文泰出征的将领，这批人的实战经验也是相当丰富的。每名大将军手下再统领两名开府，开府就可以直接对士兵发号施令了，府兵的“府”，便源于开府。
这么一个自上而下的军事结构，是通过广募豪强、扩整乡兵组织起来的，如何才能够有效地维系呢？宇文泰的措施是：一、改郡望；二、改姓氏；三、物质的赏赐。
孝文帝迁都，将鲜卑大族的籍贯一律改为河南洛阳；原本世居北方的汉族门阀，又各有各的郡望。于是宇文泰就得面对一个大问题，手下的大部分将领乃至士兵都不是关中本地人，而是五湖四海的大杂烩。中国人一向讲究归葬故里，客居他乡久了，不免会有这样那样的想法。宇文泰下令，凡是纳入府兵系统的有功将领，以宗族为单位，统一改变籍贯郡望。一般的原则是，你目前在什么地方效力，籍贯就改成什么地方人。鲜卑人本来就对自己的洛阳籍贯没什么感情，再改到关中也不会太在意，而改变籍贯的汉人多数功勋卓著，这更是成了一种荣耀。将士们做了关中人，向心力得以加强。
改完郡望，宇文泰又在府兵将领中逐步推行改姓氏的政策，以消除各方人士的差异。孝文帝是改鲜卑复姓为汉族单姓，宇文泰以鲜卑人为主体建军，就要反其道而行：对于鲜卑人，恢复原来的复姓，比如于谨，就改回原名，叫勿忸于谨；对于汉族将领，以赐姓的方式把单姓改成两字或三字的鲜卑复姓，比如柱国中的李虎，改叫大野虎，李弼，改叫徒河弼，赵贵，改叫乙弗贵。与孝文帝的改姓不同，宇文泰的改姓是出于军事目的，而非文化目的。赐姓的将军手下统领的军人，也统一跟着改姓。如此一来，并肩作战的将士们不仅都是本地人，而且还是一家人，彼此的认同感也提高了。
光改郡望和姓氏还不够，最终得靠物质和财富的激励来巩固府兵制度。宇文泰对立功将领的赏赐极其丰厚，包括农田、奴仆、牲畜、财物，其中最为重要的是农田，有了田地的将领，就是关中豪族。关中豪族在本地生根发芽，一个影响隋唐统治一百多年的关陇贵族集团应运而生。因此，宇文泰的军事改革，在中国历史上承前启后，不容忽视。
府兵制刚刚成型，就发生了波折。身为六柱国之首的李虎，于大统十七年（公元551年）去世。
按理说，必须有人递补柱国的位置，以保持六柱国的规模。朝中商议，由平定汉中的大将军达奚武来顶这个缺。但是达奚武固辞不受，举荐了另一个人选——义阳王元子孝。宇文泰接受达奚武的建议，把柱国大将军的头衔授给了元子孝。
元子孝与元欣一样，是西魏的宗室，身为柱国，徒有虚名。经过此次人事变动，宇文泰对府兵有了更大的直接掌控权，这引起了皇族的忌恨。
西魏文帝与李虎同年去世，文帝心甘情愿放权给宇文泰，得以善终，算是魏国末年唯一自然死亡的傀儡皇帝。继位的太子元钦远没有父亲那么听话，皇族与宇文氏的矛盾很快升温，元钦继位的第三年（公元553年），尚书元烈谋害宇文泰，意图夺回皇权，计划败露，被宇文泰诛杀。
元钦愈发不满，对宇文泰怨言不断。宇文泰安插在皇帝身边的耳目一通报，宇文泰也不含糊，直接把元钦废了，立他的弟弟元廓为皇帝，并且干脆把皇族的姓也改回拓跋。拓跋廓就是西魏的最后一位皇帝，魏恭帝。
宇文泰又改依周代的制度，取消魏帝的年号，称元年。他参考记录周代官制的《周礼》，改“品”为“命”（一品即九命），继而搬用周代六卿的官名：天官冢宰、地官司徒、春官宗伯、夏官司马、秋官司寇、冬官司空（六官的职权，大体上分别对应隋唐的吏、户、礼、兵、刑、工六部），宇文泰自任大冢宰，其余柱国分担各官。这项制度，宇文泰让苏绰拟筹了好多年，苏绰病逝，又由尚书右仆射卢辩接班完成。周制表面上是官名的变动，实质上确立了西魏独特的文化体系。
整顿好内部，宇文泰便于魏恭帝元年（公元554年）十月，命于谨、宇文护、杨忠统率五万精兵讨伐江陵的梁元帝。
于谨料到梁元帝多疑少谋，肯定会坐以待毙。他在襄阳与萧詧的军队会合，长驱扑向江陵。
火烧眉毛了，梁元帝却还沉浸在坐稳皇位的幸福之中。他素爱道家思想，兴致甚高，升殿大讲《道德经》，听众云集。边境战报传来，手下大臣们认为梁、魏修好，不可能凭空有军事行动。梁元帝深感有理，不做军备，继续讲经。等到魏军兵临汉水，梁元帝才意识到军情紧急，征调远在建康的王僧辩，一切都太晚了。
于谨指挥大军渡过汉水，分派宇文护和杨忠率领精骑兵抄小路占据江陵南面的江津，堵住梁军渡江的后路。然后，魏军在江陵四周筑起长围，百道攻城。
梁军奋力抵抗，可是江陵守兵太少，援军又过不来。守城主将胡僧祐不幸中箭阵亡，外城被攻破。梁元帝无心再守，向魏军献上人质投降。
令人愤怒的是，梁元帝在投降前，命舍人高善宝把平生收藏的十四万卷古今书籍付之一炬。（这些书大多是手抄本珍卷，不少是孤本，梁元帝就这么给烧了。他自以为读书万卷，乃至失败。我看，读书读成梁元帝这样，也真是活该失败。只是这把火对于中国文化造成的损失，我们后人已无法估量了。）
梁元帝想要自焚，被左右宫女拉住。有人劝梁元帝突围逃往江南，梁元帝身体肥胖，行动不便，放弃了逃跑的机会。他换上白衣、跨上白马，出江陵东门投降，一路上长吁短叹：“萧世诚落得如此下场！”（梁元帝字世诚）
于谨没有放梁元帝一条生路，他使出损招，把梁元帝转交到萧詧手里。萧詧想起兄长萧誉之仇，气不打一处来，上去就是一通殴打辱骂。发泄折磨够了，萧詧命人用大土袋压死了梁元帝（梁元帝的死法竟和简文帝一样，可叹梁国几代君主，没一个死得像样的）。
梁元帝一死，于谨把萧詧安置在江陵，派专人“看护”，萧詧原先的封地襄阳则被西魏吞并。于谨没抢着梁元帝的书籍，就把江陵的文士、珍宝、仪器（比如刘宋时代的浑天仪、梁代的铜晷表等等）集中起来带往长安，并从江陵百姓中挑选十万男女分赏三军为奴婢，身残体弱的统统杀死。北朝的经济文化又一次获得了巨大提升，而南朝文化遭受严重洗劫，从此一蹶不振。
萧詧眼看苦心经营多年的襄阳转眼间换成一座空荡荡的江陵城，后悔也没用了，家事国事到了这地步，只好老老实实当他的傀儡。不久，萧詧称帝，定都江陵，以梁国正统自居，管辖范围限于江陵方圆三百里的一州之地，奉西魏－北周为正朔，历史上称这个巴掌大的附庸国为西梁或后梁（需要提请注意的是，萧詧的后梁与五代朱温建立的后梁，没有任何联系）。
西魏尽取梁、益、雍、荆，版图几乎扩大了一倍，由三国中最小的一国，一跃成为面积最大的国家。