孙恩进逼建康时，远在荆州的桓玄上疏请求顺江而下，讨伐反贼。建康城里的实权派司马元显忌惮桓玄，宁可大力提拔刘裕等一批寒门将士，也不愿桓玄来国都，招惹麻烦。他以安帝的名义下诏，让荆州的军队就地待命，建康这边有北府兵扛着，足以应付。
荆州那边也是野心颇大，这桓玄乃是桓温之子，自然也就继承了不少相似的基因。他老爹当年就想称帝，只不过时运不济，支持率也没高到满朝劝进的水准，才饮恨而终。桓玄的才干比其老爹差之远矣，却能赶上一个“好年成”：东晋朝廷内外交困，司马道子父子与刘牢之这两派貌合神离，正好有隙可乘。于是他就给司马道子写信，把这位皇叔狠狠地讥讽一番。信的内容收录在《晋书?司马道子列传》中，通篇骂人不带脏字，写得还颇有些意思：
“贼造近郊，以风不得进，以雨不致火，食尽故去耳，非力屈也（孙恩没能攻下建康，不过是缺少天时地利，不是打不过你们）。昔国宝（王国宝）卒后，王恭不乘此威入统朝政，足见其心非侮于明公也，而谓之非忠（关于王国宝、王恭等人的内乱，可参见前作《纵横十六国》）。今之贵要腹心，有时流清望者谁乎？岂可云无佳胜？直是不能信之耳（当今的高官显贵，哪有什么名流清望？难道说没有好的么？只是彼此不能信任而已）。用理之人，然后可以信义相期；求利之徒，岂有所惜而更委信邪？（对于讲道理的君子，才可以用信义来对待；对于追求利益的小人，还讲什么信义？——这句话至理，古往今来若论“信义”二字皆是如此）尔来一朝一夕，遂成今日之祸矣。阿衡（古代官名，指辅佐之臣）之重，言何容易，求福则立至，干忤或致祸。在朝君子，岂不有怀，但惧害及身耳。玄忝任在远，是以披写事实（满朝文武不是不懂这个理儿，只不过是怕害了自身，我桓玄忝任在外，就撕破脸皮说真话啦）。”
一封短信句句切中要害，表面上在讲大道理，底下尽是刀子。司马道子父子读着心惊肉跳，惴惴不安。司马元显身边有个谋士叫作张法顺，深受司马元显宠爱，读了这封信，就劝他先下手为强，乘着桓玄在荆州立足还不算太稳，以刘牢之的北府兵为前锋，出兵讨伐，必能搞定桓玄。司马元显迟疑不定，恰好桓玄的部下、武昌太守庾楷送来一份大礼，主动请缨做内应，配合朝廷方面的军队夹击桓玄。司马元显大喜，便在晋安帝元兴元年（公元402年）正月称诏将桓玄的罪状罗列一遍，大举水陆两路讨伐。
桓玄远在荆州，认定朝廷方面刚刚遭受了孙恩之乱的破坏，问题多多，不可能有机会马上来找他麻烦，并未采取任何预警措施。幸亏桓氏朝中有人，桓玄的堂兄太傅长史桓石生发来密信，通报消息（司马元显本打算除尽桓氏，他宠幸的骠骑长史王诞正好是中护军桓修的舅舅，几句好话之后，司马元显便找不着北，没再处置姓桓的子弟。株连本不是什么光鲜之事，但司马元显的这次仁慈终于为自己掘下了坟墓）。
桓玄惊恐之下打算固守江陵，缓图良机。旁观者清，长史卞范之说：“桓公声威远近闻名，天下震动；司马元显乳臭未干，刘牢之不得人心（前面说过，刘牢之的北府兵打仗很厉害，但军纪太差，在朝野都没啥好名声：在朝是怕他功高压主，在野是恨他贪得无厌），如若我们的军队能够逼近京城，恩威并施，管叫他们土崩瓦解。岂有引敌入境，自寻死路之理？”
桓玄这家伙，见解和志向比司马道子父子要强多，但终究还是一路货色，对相似的谏言反应也是相似。他听闻此话，信心顿增，让哥哥桓伟留守江陵，自己则上表传檄，以彼之道还治彼身，列举司马元显的各项罪行，然后率兵顺江东下，直奔建康而来，沿途如入无人之境，为数不多的几次抵抗被轻松打退，豫州刺史、谯王司马尚之也被擒。
刘牢之在此时起了“关键作用”：他挂着司马元显的“前锋都督”的名头，大战来临之际却采取观望的姿态，驻兵在溧洲（今江苏南京西南长江中）。他的儿子刘敬宣、外甥何无忌，以及刘裕都认为荆州兵强过司马元显的江东兵，应率北府兵主动进击，以除后患。刘牢之则认定平定桓玄不难，但狡兔死，良狗烹，若消灭桓玄，将来必被司马元显所制，不如先利用桓玄的势力除掉司马道子父子，再做打算。桓玄也看透了刘牢之的心思，不失时机地派了刘牢之的族舅何穆来劝降。刘牢之便顺势上了“贼船”，让刘敬宣去桓玄营中投降。
司马元显没了真正可用之兵，哪还有什么抵抗的意志，他听说桓玄已经到了京城南面的新亭，就弃了战船退回建康。桓玄的军队尾随而至，在后面挥刀大喊：“放下武器！”司马元显的兵众立即崩溃，司马元显逃回府中，身边只剩下“狗头军师”张法顺一人而已。见到老爹司马道子，二人只能相对而泣，一筹莫展。这对有野心却无能力的父子束手就擒，桓玄下令斩杀司马元显一党，继而又吩咐手下人把司马道子秘密毒死在流放的路上。
桓玄初步掌控了建康的大局，紧接着就采取了三项措施巩固其权力：
首先是任命刘牢之为会稽内史，这个职务表面看是一郡权力上的No.1，实际上却剥夺了刘牢之对北府兵的控制权。刘牢之一介武夫出身，视兵权为命根子，心里有意据江北对抗桓玄。他私底下找到刘裕，商量对策。刘裕何等聪明，当即指出桓玄“新得志，威震天下。三军人情，都已去矣”，现在要和他对着干，怕是没戏。他并向刘牢之请求返回老家京口。将领何无忌向刘裕请教当前的局势，刘裕答道：“我看刘牢之难逃一死，你不如和我一起回京口，以观其变。桓玄若是甘为人臣，我们就老老实实地跟着他干。如若不然，你我还可以起兵图之。”
刘牢之召集手下开会，还想谋划讨伐桓玄。参军刘袭气呼呼地说：“天下最不该做的事就是反叛。将军当年反叛王恭，最近反叛司马元显，现在又要反叛桓玄；一人三反，还凭什么立足天下？！”说罢拂袖而去，其余将领也纷纷离去。刘牢之这才慌了神，让儿子刘敬宣去京口迎接家眷，约定的时间没见着人，以为事已败露，带着本部人马仓促北逃，逃到新洲，走投无路，自缢而死。几乎是北府兵代名词的刘牢之就以这样狼狈的方式结束了他的一生。
从桓玄出兵这件事前后刘牢之和刘裕的不同表现，我们就可以看出二者的差距：刘牢之军事方面很强，但在其他方面近乎白痴，尤其在利害关系的判断上显得相当幼稚，他又在政治立场上做“三姓家奴”，毫无信义可言，得不到大多数人的支持，这样的人可以拿来做成大事的工具，而不可能自己成就大事；刘裕则不同，虽说王夫之等人在史评中指责他其实也是“一人三反”（先反刘牢之，再反桓玄，最后“反”晋称帝），但他的所谓反并不是简简单单“墙头草”式的反，而是颇有行事原则，他在每次做出决断之前都充分分析了局势，并对将来的行动做好了周密的计划。所以说，刘裕不仅打仗有自己的一套，而且审时度势，该用强的时候用强，该示弱的时候示弱，玩弄权术的手段并不差过同时期那些门阀大族出身的政治人物，这样的人只要再有一点运气，获得成功指日可期。
桓玄轻而易举地除掉了刘牢之，接下来他对北府兵旧将也毫不留情。吴兴太守高素、将军竺谦之、竺朗之、刘袭、刘季武等一大堆优秀将领被杀，以刘敬宣和宗室司马休之为首的残部想要造反，不是对手，只好逃往南燕和后秦这两个北方邻国。
下一项措施是改革内政，罢黜奸佞之臣，提拔有才之士，东晋各地在这一时期出现了不少出色的官员，他还下令限制佛教寺院无节制的发展僧尼。这些本来都是革除敝政、稳定时局的好事，可惜，桓玄的举措不过是想借机提高威望、扩大影响，不久他便暴露了奢豪放纵的公子哥儿本性，朝上政令无常，朝下结党营私，东晋的危机重现。当时投奔后秦的北府兵旧将袁虔之评价桓玄才略不如其父，所扮演的角色不过是“为它人驱除耳”；南燕的中书侍郎韩范也认为桓玄早晚被江东“豪杰诛灭”。
野心勃勃的桓玄，到头来还是为他人做了嫁衣裳。