公元二十六年九月，赤眉军挖完诸陵，重返长安。而随着赤眉军的重返，长安周边的局势越发错综复杂，各阵营之间，立即又展开了一通眼花缭乱的混战！
延岑屯兵杜陵，并没招谁惹谁，然而赤眉军就是看他不顺眼，遣大将逄安领大军十余万人前往攻打。
刘嘉屯兵谷口，同样也乖得很，赤眉军却同样看他不顺眼，遣廖湛领兵十八万，前往讨剿。
赤眉军精兵尽出，长安城中只剩下皇帝刘盆子和少量羸兵弱卒留守。邓禹大喜，捡漏儿的时机到了，不仅可以趁机收复长安，更能一举俘获刘盆子，于是发兵来攻长安。谢禄率师回救，与邓禹夜战于长安城中。邓禹偷鸡未遂，再度败走。
更让邓禹羞愧难当的是，赤眉军同时三线作战，只有在他身上尝到了胜利的快感，而在其余两条战线，赤眉军则被延岑和刘嘉揍得极为凄惨。
逄安攻延岑，先胜后败，死者十余万，逄安率数千残众逃归长安。
廖湛讨刘嘉，刘嘉大发神威，阵前亲手斩杀廖湛，余众溃散。
赤眉军连遭惨败，再也不敢招惹军阀，只得重操旧业，鱼肉孤苦百姓，继续以抢掠为生。然而，托他们自己的福，三辅早已被他们糟蹋得千疮百孔，白骨蔽野，城郭皆空，幸存者则聚为营保，坚守不下。赤眉军连日搜刮，一无所获，只得开始谋划东归。
刘嘉大胜廖湛，但自己也损失惨重，军中粮荒又日紧一日，彷徨在关中大地，不知该何去何从。刘秀听闻，遣使命邓禹招降刘嘉。
邓禹修书劝降刘嘉。刘嘉接书，聚众商议。李宝力主拥兵自守，且观成败。来歙怒斥李宝道：“文叔羽翼已成，必得天下，何观望之有！”
来歙，既是刘秀的表哥，也是刘嘉的大舅佬。刘嘉为汉中王，来歙随行至汉中，常在刘嘉左右，最见信用。
刘嘉闻来歙之言，叹道：“汉中已失，退无归处。今客居关中，士卒疲惫，终非长久之计。文叔与我，亲如骨肉。骨肉相残，我心何忍！不如降。”
刘嘉率众入云阳，归降邓禹。李宝虽随刘嘉而降，自恃手握雄兵，心犹不甘，倨慢无礼，浑不将邓禹放在眼里。邓禹近来诸事不顺，心中正烦躁不堪，见李宝狂妄嚣张，大怒，收而斩之。
李宝之弟李艮见长兄被杀，岂肯甘休，收李宝之军，趁夜突袭邓禹。邓禹猝不及防，仓促应战，战至天明，这才勉强击退李艮，清点部众，死伤逾万，大将耿也不幸阵亡。耿，耿纯之弟也。
此战过后，邓禹的威望一落千丈。邓禹刚到关中之时，关中百姓无不将他视为救星，都指望着他可以保土安民，还关中以太平。结果，邓禹先后被延岑、赤眉军暴揍，几无还手之力，内部又接连内讧，军纪已无从谈起。关中百姓从此对邓禹彻底死了心，靠邓禹不如靠自己，各郡县大姓于是皆各拥兵众，以武力自保，谁的号令也不听从。
必须承认，关中局势已经被邓禹完全搞砸。就连一贯力挺邓禹的刘秀，至此也终于对邓禹失去了耐心，诏令邓禹尽快回洛阳复命，同时任命冯异为关中主帅，拜征西大将军，接替邓禹。
在刘秀的嫡系之中，冯异的地位仅次于邓禹，邓禹失职，冯异顶上，可谓是众望所归。刘秀亲送冯异至河南，赐以天子乘舆及七尺玉具剑，面授方略道：“三辅先遭王莽、更始之乱，后又罹赤眉军、延岑之酷，百姓涂炭，无所依诉。今之征伐，不必强求略地屠城，重在平定安集。诸将非不健斗，然好掳掠。卿本能御吏士，念自修敕，无为郡县所苦。”冯异顿首受命，引兵进发关中。