1853年11月中旬，太平军逼近安徽省会庐州（今安徽合肥）。庐州知府胡元炜向江忠源求救，但是此时江忠源正病倒在床，跟着他的残余楚军由于长期得不到休整补充，也越打越少且战斗力锐减。
为了能让江忠源舍命捞自己，胡元炜在信中扯了个谎，说庐州兵力和粮饷充足，光乡勇就有万人：反正是兵强马壮，您老人家来了指定开心，只要动动嘴，想想招，太平军的那几头烂蒜都不够咱爷俩捣的。
江忠源信以为真，遂强撑病体，让人用担架抬着上了路。12月10日，已被任命为安徽巡抚的江忠源进入庐州，去了之后才发现，他被胡元炜给忽悠了。
江忠源把他带去的楚军加一块，全城兵勇一共才三千人，而且庐州城墙低矮，物资也很缺乏，与胡元炜所说的相去甚远。
胡元炜是个肥嘟嘟的胖子，江忠源气恨恨地对他说：“你小子既然肚子里有这么多鬼心眼，应该是用脑过度的瘦猴形象才对，怎么会长一身肥肉出来？”
骂归骂，既然来了，守还是要守。未等江忠源部署完成，大批太平军已经赶到庐州城下。江忠源带病指挥，他明白此一时彼一时，庐州守军势单力薄，必然难以长久支持，因此急忙写信对外请援。
可是太平军早就为他准备了围点打援的战术，赴援的兵马来多少被打掉多少，剩下的噤若寒蝉，纷纷裹足不敢向前。陷于孤城中的江忠源不得不带病指挥，用守南昌的办法来守庐州，如此艰苦忍耐，又坚持了月余。
在攻城过程中，太平军嗅到了城内的紧张空气，他们立刻派人入城打探动静。令人吃惊的是，曾经厚着脸皮把江忠源拖下水的知府胡元炜，竟然在这个关键时刻发生动摇，他背叛江忠源，把城内的情况跟太平军一五一十地做了交代。太平军由此了解到城中食物将尽，军火也所剩无几，于是攻势变得更为猛烈。
对付“穴地攻城”，江忠源用的是老办法，太平军土营却通过改进，创造了新技术：你不是会破坏地道吗？好，我这次给你来个双黄蛋。
土营掘的是双层地道，破坏了上层，还有下层，而且弯弯曲曲，让守军捉摸不透。1854年1月14日晚，上层地道的炸药炸塌了城墙，江忠源派兵抢堵，但是下层地道再次发生爆炸，守城兵勇非死即伤，乱作一团。太平军乘势如潮涌入。
眼见大势已去，江忠源欲抽刀自刎，被左右拦下。此时天还没亮，又起了大雾，有忠心的部下将已负重伤的江忠源背在肩上，欲借机冲出包围。江忠源不愿拖累别人，劝止不住，突然咬住部下的耳朵，趁对方一松劲，他挣扎出来，径直跳进一口水塘自杀而亡。
江忠源守城时，曾给咸丰上疏，言“誓与此城共存亡”。咸丰寻寻觅觅，好不容易找到这么一个将才兼救火队长，哪里舍得丢弃，因此破天荒地在奏疏上批示：“不必与城共存亡。”
当咸丰的圣旨寄到，庐州已城破两天了。江忠源死后，他的部下冒着风险重新派人潜入庐州打探，最后从水塘的桥下找到了江忠源的尸体。尸体被运回楚军军营时，距其身亡已经有二十二天，竟仍面目如生。楚军部卒见之，无不痛哭失声。
曾国藩又要写挽联了，这回是给他预言会“节烈死”的江忠源：“百战守三城，章贡尤应千世祀；两年跻八座，江天忽报大星沉。”
三战，指江忠源死守过的三座重要城池，即长沙、南昌、庐州。八座，指江忠源按军功所得的官衔，从知县到巡抚依次为八级。
大星江沉，曾国藩失去了一位至交，不久之后，他还将失去一位老师。
曾国藩参加过的考试多，当然老师就多，在那些出名的座师中，除了穆彰阿，尚有吴文镕。
更为巧合的是，吴文镕还曾是“江青天”的上司。吴文镕曾出任浙江巡抚，出任之初，他就对浙江进行了巡视，一圈看下来，他发现一省之内就没几个好官，不是贪污受贿，便是无能渎职。吴文镕一口气弹劾了五个不称职的知县，但仍解决不了问题，新的换旧的，不过是一百步与五十步的差距而已。
秀水知县江忠源的出现，让吴文镕眼前一亮。他从没见过这么优秀的官员，又清廉，又能干，简直无可挑剔。
一个小小知县，吴文镕却待之如国士，浙江境内凡赈灾、治盗和水利等一干大事的处理，皆依赖于江忠源在秀水所取得的经验，吴文镕只是把它们推广开来而已。
后来江忠源的父亲去世，江忠源请辞归家。临行时，吴文镕亲自送行，见他两袖清风，便叹息着说：“像江知县这样贤明的人，怎么可以两手空空地回去给父亲办丧事呢？岂不寒了志士之心。”
吴文镕从自己的养廉银中拿出五百两送给江忠源，同时还在赈灾有功人员名单中，将江忠源列入第一。
吴文镕与江忠源一直有书信往来，清军在永安围住太平军那一仗，吴文镕就曾在信中表示，这一战若不能成功，就会放虎归山，进入湖南的太平军将不可制。