谢尚兄弟西府之任，为谢氏门户赢得了一定的社会声誉和政治地位，已详前节。以军权谋求门户利益，本来是东晋门阀政治的特点之一，王、郗、庾、桓，概莫能外，谢氏也是如此。不过，谢氏在豫州，并未经营起一支有长久影响的为谢氏门户所用的武力，所以谢万卒以轻易被废而离开豫州。究其原因，一是桓瘟强大，不会容许在豫州形成一支独立存在的强大武力，后来桓温蓄意与在豫州的袁真为敌，不惜兵戎相见，就是证明；二是谢尚以后，谢奕、谢万都以虚放为高，没有经纬世务的能力，谢万更是矜豪傲物，不得士情。所以一旦谢万被废黜而离开豫州，谢氏就失去凭藉。谢安在政治上崭露头角，还需要十余年的经营。直到简文帝死时，谢安才成为重要的政治人物。
桓温死后的四五年中，谢安的主要对手是桓冲。谢安在朝在野均没有党援，只好请太后临朝，以宫廷势力相抑。《晋书》卷七六《王彪之传》曰：“时桓冲与安夹辅朝政。……安不欲委任桓冲，故使太后临朝决政，献替专在乎己。”宁康三年（375年）桓冲以扬州让谢安，自己出就徐州刺史镇京口，这，一方面出于桓冲顾全大局的器度，一方面也是迫于形势，不得不尔。《晋书》卷七四《桓冲传》：“谢安以时望辅政，为群情听归，冲惧逼”，乃解扬州，自求外出徐州云云。东晋成法，徐州刺史兼刺兖州，故京口、广陵得以连为一气。可是桓冲受徐州之任时，兖州却另委朱序为刺史。朱序虽桓氏故义，但桓、朱究为二家。可见桓冲外任，亦非真出于总领北府以卫建康的考虑。同传续云：翌年（太元元年，376年）谢安欲以后父王蕴为方伯，“乃复解冲徐州，直以车骑将军都督豫、江二州之六郡军事，自京口迁镇姑孰。”太元二年，镇荆州的桓豁死，桓冲又还督江、荆、梁、益、宁、交、广七州军事，荆州刺史。原来桓温死后，桓冲代温居任，本是位重势强，曾几何时，竟一再见逼谢安，不得不逐步撤离中枢，退出京口，放弃姑孰，直到回归桓氏经营已久的荆、梁旧地。谢安使桓冲就范，大概借用了褚太后和王皇后的权柄。
桓冲回镇荆州以后，东晋消除了桓氏步步向建康进逼的威胁，恢复到长江上下游的桓氏和谢氏在对峙中求稳定的局面。此时前秦苻坚已经统一北方，有随时南侵的可能，上下游关系中虽然还存在某些冲突，但是主要的一面却是相互支援以抗苻坚之军。
谢安执政，最大的弱点是没有可靠军事力量的支持，而没有军事力量的支持，建康既不能与上游桓氏维持一种较稳定的平衡，更不能应付北方前秦的压力。支持和护卫建康，本来依靠北府。早年由郗鉴组成的强大的北府军事力量，由于桓温兼并郗愔而不复存在。桓冲离徐州后，王蕴以外戚名士刺徐州镇京口，本是谢安的权宜措施。《晋书》卷九三《外戚·王蕴传》谢安促王蕴受徐州之命，曰：“卿居后父之重，不应妄自菲薄，以亏时遇。宜依褚公（裒）故事，但令在贵权于事不事耳。可暂临此任，以纾国姻之重。”此处“干事不事”、“暂临此任”等语，明谢安之意不过欲借重王蕴人地以代替桓冲，不是真正想要王蕴起北府方镇作用，更不是想要他重建北府军事力量。兖州朱序是桓温旧部，他以出自寒微的武人暂时刺兖州镇广陵，无非是谢安对桓冲的一种怀柔姿态而已，谢安自然不会指望朱序为缓急之助。桓冲既然离徐州赴上游之任，朱序迟早也会离开兖州。这样，徐兖北府就可以留待谢安从容部署，从长考虑。
谢安利用前秦军压境，朝议求文武良将可以镇御北方者的机会，举兄谢奕之子谢玄为兖州刺史。谢玄本来是荆州桓豁的征西司马、领南郡相。桓豁于太元二年七月死，十月桓冲西行，代桓豁为荆州刺史。谢玄东来代朱序刺克州镇广陵，也在这年十月，正是桓氏势力在上游重新调整之时，桓氏无暇顾及下游。太元四年六月君川之捷以后，谢玄又兼王蕴所领徐州，徐、兖复为一镇。谢玄的北府兵就是在这里组建的，有了这支北府兵，谢安在建康执政才有所凭藉。
北府兵有郗鉴的先例，是重建而非创建。此时重建的北府兵，主要是南北矛盾加剧的产物，同时也是桓、谢矛盾的产物。从以后的事态发展看来，北府兵既用于淝水之战，又用于解决桓玄问题，这两方面，北府兵都是胜利者。
《晋书》卷八四《刘牢之传》：“太元初，谢玄北镇广陵。时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等以骁猛应选。玄以牢之为参军，领精锐为前锋，百战百胜，号为北府兵。”《通鉴》太元二年：“玄募骁勇之士，得彭城刘牢之等数人，以刘牢之为参军，常领精锐为前锋，战无不捷，时号北府兵。”《刘牢之传》听说的北府兵，只列应募为北府将者的姓名，不具兵卒来源；而《通鉴》中所见北府兵的组成，迳谓募得“刘牢之等数人”。这里可看到两个问题：一，北府兵的组成主要在募将，与后世常有的募兵者不同；二，应募的北府将可能自有兵众，只须授与军号或刺守名义，或者略作兵员补充，就能用于战争。
江淮之间，广陵左近，东晋时是北方南来流民集中之地。流民南来的浪潮，随北方形势和南北关系的变化而具有周期性。流民在地着之前往往是半武装性质，他们的首领即流民帅，多受东晋名号。流民帅曾助晋讨平王敦，也曾酿成苏峻之乱，是东晋政局中具有很大影响的一个因素。东晋视需要而处置流民，徒淮北流民于淮南而用其人力。郗鉴为北府，曾移淮北流民；谢玄受兖州之命的前一年，即太元元年，东晋孝武帝亦有移淮北流民之诏。太元元年所徙淮北流民，当是谢玄补充北府将的主要兵源。《谢玄传》：“时苻坚遣军围襄阳，车骑将军桓冲御之。诏玄发三州人丁，遣彭城内史何谦游军襄淮，以为形援。”案前秦军始围襄阳，在太元三年四月，发三州人丁事当在此时或略后。三州，以其时情况度之，当指侨立的徐、兖、青三州；三州人丁，指编户的可能性极少，当是指太元元年由淮北迁淮南的流民。《宋书》卷三一《五行志》谓晋孝武帝太元三年，“氐贼围南中郎将朱序于襄阳，又围扬威将军戴遁（即下文所见的戴遂）于彭城。桓嗣以江州之众次都援序，北府发三州民配何谦救遁。”这也证实北府将何谦所部，有三州民丁的补充，是初组北府兵时先募将后补兵的一个例证。
《刘牢之传》列举的最早一批北府将，多是北方南来在江淮活动多年的武人。刘牢之本人是彭城人，世为将家。刘牢之父刘建，东晋征虏将军，受豫州刺史谢万节度，《晋书》卷七九《谢万传》，谢万溃败之前，曾遣征虏将军刘建修建马头城池。这是一个很重要的线索。刘建既为谢氏豫州旧将，刘牢之当因家世旧谊为谢玄所知。所以刘牢之得为谢玄的参军、前锋，实际上掌握北府兵，为谢氏所用。北府将何谦早年是徐州刺史庾希部属。《晋书》卷八《哀帝纪》隆和元年（362年）七月，“庾希部将何谦及慕容将刘则战于檀丘，破之。”刘牢之以将家子应募，何谦以北府宿将应募，都应当不是只身投军，而是各自率有原来所统士卒。稍后进入北府兵系统的戴遂（遁），也早于永和十二年（356年）参徐州刺史荀羡军事，见《晋书》卷七五《荀羡传》。戴遂（遁）后来进入谢玄北府兵系统时已是沛郡太守。田洛则是幽州刺史。他们当也自有兵卒。
由此可见，谢玄组织北府兵，不过是集合一部分以前本属北府，后来分散开来，处于独立、半独立状态的江淮宿将和流民武装（江淮宿将亦出于流民武装），征发一部分过淮流民予以充实而成。谢玄赖以指挥和联络的人，是谢氏豫州旧将刘建之子刘牢之。北府兵各支既无特别训练，又无严密组织，但官长、士卒都有与北敌作战的经验。他们一旦纳入同一系统，有恰当的指挥，就成为拱卫建康、抵御北敌的重要武装，不但直接决定淮淝战争胜负，而且决定尔后东晋朝廷的政局。
顺便提及，近时著作中常有说到东晋北府兵训练精良一类的话，认为是淝水之战中东晋获胜的原因之一；也有同行询及当年训练北府兵的地点和情况。据我所知，史籍并不见谢玄训练北府兵的资料，其时北府兵散在江淮，也不具备加以精良训练的条件。北府兵善战，主要在于他们来自流民，习战有素。以为谢玄组织北府兵与历朝常见征、募、训练新军之事相类似，这可能是一种误解。
回顾历史，大体说来，从咸和元年（326年）郗鉴镇北府起，直到太和四年（369年）桓温逼郗愔离开北府为止，其间四十余年，居北府之任者尽管有十人之多，王、庾诸士族执政者俱在其中，但北府始终在郗氏影响之下。太和四年桓温虽取得了北府的控制权，其后桓冲也一度出镇徐州，但桓氏家族势力始终未在北府植根。太元二年（377年）谢玄组建北府兵，至隆安四年（400年）谢琰死为止，北府由谢氏通过刘牢之掌握，共二十多年。此后谢氏势力虽离开北府，但北府将刘裕继续凭藉北府力量，又经二十年，卒移晋鼎。