然而此时的长安已不是几个月前的长安，各路割据势力都把目光集中在这座落魄的名城上，赤眉军已经很难舒舒服服地呆在城里。
起于汉中的延岑势力，也经散关进驻杜陵，窥视长安。
樊崇派逄安率军十万前往杜陵，准备一举消灭延岑。
占据云阳的邓禹，获悉赤眉主力离开长安，城中只剩下老弱残兵的消息后，再次率军攻入长安，与赤眉军夜战于蒿街（当时外国使节、商人及移民聚居处，有点像现在的东交民巷——不过那时候的洋鬼子可没有治外法权，犯了罪比中国人罚得还重，不折不扣是“番邦蛮夷”的待遇。这里也是向外国人炫耀武威的地方，大名鼎鼎的郅支单于，就曾被悬首于此，以宣扬大汉“犯我强汉者，虽远必诛”的决心）。适逢谢禄回救，邓禹军再次大败，刘秀遂以智勇双全的冯异替换他。
赤眉杜陵之战起初很顺利，逄安击败延岑与更始将领李宝的联军，李宝投降。然而投降的李宝却暗地里与延岑通信，让他回战，自己则里应外合。延岑依约回军挑战，赤眉军空营而出与之决战，李宝趁机悉拔赤眉军旗帜，树起自己的旗号。
赤眉军战疲回营，见旗号皆变，部队惊乱。延岑、李宝趁机挥军猛击，赤眉大败，在川谷中践踏而死者十余万，逄安仅带着数千人回到长安。
当时，“三辅大饥，人相食，城郭皆空，白骨蔽野，遗民往往聚为营保，各坚壁清野”。赤眉军后勤补给断绝，向民间掳掠也无所得，于是归乡派占了上风。樊崇等人引军东归，出发时尚有二十余万人。
刘秀此时已定都洛阳，赤眉军的行动，无异于向这一中原最强大的军事力量挑战。刘秀针对赤眉的行动，派遣破奸将军侯进屯驻新安，建威将军耿屯驻宜阳，大司马吴汉则率大军集结于洛阳附近，加上冯异、邓禹军团，对赤眉形成了南北夹击之势。
汉军给养充足，以逸待劳，坐待赤眉军撞上门来。然而赤眉确实是一支战术上所向无敌的军队，即便已是强弩之末，仍然能够在湖之战中大败邓禹、冯异联军。
可是赤眉糟糕的战略头脑，使得他们所有的胜利都无法转化为胜果。湖之战的胜利，并未让他们认识到汉军正在集结重兵，堵截东归之路的事实，他们既不休整，也不筹备给养，就这样莽撞地闯入了刘秀设置好的圈套里。
公元二十七年正月，赤眉军与冯异军会战于崤底。冯异派精兵万余，化装成赤眉军，在预计的战场附近埋伏。然后向赤眉军挑战，故意示弱，引樊崇不断投入预备队。
最后，双方形成僵持。按以往的经验，赤眉军更善于持久作战，似乎樊崇赢定了。这时冯异的伏兵发挥了作用，赤眉军正在苦撑之时，突然发现身边出现大量自相残杀的“自己人”，军心顿时大乱。冯异抓住时机，全军出击，将赤眉军彻底击破，共俘降男女八万余人。樊崇等人突出重围，不敢再战，率残部十余万人向东南疾走。
刘秀得到崤底的捷报，大为欣喜，回书冯异道：“始虽垂翅回溪，终能奋翼渑池，可谓失之东隅，收之桑榆。方论功赏，以答大勋。”在创造成语之余，他亲率汉军主力急进宜阳，堵住了东逃的赤眉残部。
赤眉军此时士气低落，粮食断绝，无力再战，遂决定投降，派出已经很有投降经验的刘恭前往宜阳洽降。刘恭见到刘秀后，问：“刘盆子率百万之众投降，陛下将何以待之？”刘秀清楚地知道赤眉此时困窘，已经没有讨价还价的余地，遂轻蔑地道：“待汝以不死耳！”
即便是这样的屈辱，赤眉仍然只能选择投降。刘盆子率樊崇、徐宣以下三十多位将军大臣肉袒投降，将赤眉军从刘玄那里抢来的传国玺绶、更始七尺宝剑及玉璧等物交给了刘秀。
赤眉军兵甲堆积，与熊耳山齐高。十余万赤眉降众，到这时，才能吃得上饱饭。这支曾纵横中原的无敌劲旅，就这样因为自身的痼疾，覆没了。
这支军队有种种毛病，但即便是作为敌人的刘秀，也承认赤眉军有“三善”：“攻破城邑，周遍天下，本故妻妇无所改易，是一善也；立君能用宗室，是二善也；余贼立君，迫急皆持其首降，自以为功，诸卿独完全以付朕，是三善也。”
次日，刘秀大陈兵马于洛水，命刘盆子等君臣列观，然后拿这位可怜的本家兄弟开涮：“自知当死不？”刘盆子回道：“罪当应死，犹幸上怜而赦之耳！”刘秀大笑，咱们宗室里，还真没你这么滑头的家伙。
涮完了刘盆子，刘秀又回过头来涮樊崇：后不后悔投降？现在放你们回去，咱们再决一胜负？樊崇虽然战败投降，但终究是条汉子，这样公然的侮辱让他很难堪，然而他手里已经没有了武器，也只能闭口不答。徐宣叩头道：“咱们一出长安东门就想投降的，只是没来得及告诉手下人罢了……今日得以归降陛下，犹如去虎口而归慈母，欢喜得很，哪还会后悔啊！”
刘秀颔首笑道：“你就是所谓铁中铮铮，庸中佼佼了！”
这个咄咄逼人的家伙，已经不再是那个随和的田舍翁刘秀了。
刘盆子这帮“君臣”，被每人赐田二顷，宅第一所，与妻子终老洛阳。
然而事情并没有就这么了结。这年的夏天，勇猛难制的樊崇、逄安因意图谋反的罪名被杀。
杨音在长安时，对刘秀的叔父刘良很照顾，因此被赐爵关内侯，与徐宣一块回到东海的故乡，老死于东汉朝初年的太平盛世。
刘恭替更始皇帝报仇，杀死失信的谢禄，然后又一次把自己关到牢房里，但光武帝赦免了他的死罪。
光武帝对刘盆子还算厚道，赏赐甚重，任命他为赵王郎中。后来刘盆子莫名其妙地因病失明，又被赐予荥阳的均输官地，建起一排门面，靠收租金养老。
刘秀晚年厌恶言兵，皇太子问攻战之事，他长叹一口气，仰望着星空，悠悠地道：“当年卫灵公向孔子问征战，孔子不答。战争，不是你能驾驭的啊！”