人已经杀得差不多了，张献忠开始撤退。穷途末路之人，比以往任何时候都眷恋家乡。他对部下说：“弃蜀出秦，一得长安，则是中原首领自我而据，且关中为我故乡，诸将兵多系秦人。自来强兵战马皆产于秦，要图大事，还是陕西。”
然而，这时又遇到了供应问题。人口消灭净尽，自然粮食就越来越难找。数十万军队，没吃没喝，如何行军？张献忠想到了屠杀自己的部下。当然，要杀必先杀那些掳来的四川人，他们虽然被征入伍，心却不附，经常有人开小差。
《蜀碧》载：
“献忠欲此行入陕，恶其党太多，欲止只（留）发难时旧人。”他和汪兆龄等密议如何实行。“兆龄怂恿之曰：‘恐兵知而先噪奈何？不若先立法，责之各将军都督等，多置逻者，以伺察营伍中行偶语者及微过，皆置文法并连坐，如此则杀之令名，无觉者矣。’密议已定，辄收治。”
密议结果，在义军中要“收治”的有三种人：
其一系四川人，有在四川入伍者，有系四川人而在他省入伍者。其二系他省人而在他省入伍者，有系他省人而在四川入伍者。其三系明朝官兵投降过来者，有系阵前俘获者，又有系各地方上的土匪入伙的，俱当尽诛。
其中尤其是四川义军，张献忠认为都是些“剽悍亡命，叵测不轨之徒”，故“恨入骨髓”，必欲除之而后快。
屠杀的办法与杀士子时类似。据《蜀警录》载：
先谎称要从士兵中挑出精干者，成立水师营。因此命令部队在张献忠等军官面前列队而过，过去者生，被‘挑中’者即待死。先在江边建造了一个木栅城，挑出来的数万军人都关进城内，开杀之时，先用枪炮向内轰攻，死伤大半，然后方挥兵入内砍杀。
结果在军中共杀“男妇二十万有奇”，占全军半数，张献忠在自己军中制造的屠杀恐怖，使得幸存者恐为张献忠所屠，大批逃奔“摇黄十三家”起义军。
张献忠还认为，随营妇女是自己行军作战的累赘，在杀过自己士兵以后，把屠刀探向军中妇女。顺治三年（公元1646年），他离开成都时，首先将自己的三百嫔妃杀掉二百八十名，只留了二十名侍候自己。并命令：
“各营所有妇女，齐集一处，由兵围绕，献忠另选兵人一队为刀斧手。号令一声，乱砍乱杀，叫冤哭惨之声，展动天地。妇女尸身堆积如山，血流成河。”
还有史料记载，由于缺乏军粮，张军曾经把这些死亡者的尸体“剐之割之，制成腌肉，以充军粮”。
收拾干净之后，张献忠率部启程。开国时的一千多文官，此时被杀剩二十五名，忠心耿耿地跟在身边。士兵人数亦只剩三分之一。张献忠犹满腔豪气。可惜行至西充凤凰山，遭遇清兵。他随即：
骑马出营，未穿盔甲，亦未携长枪，除短矛外，别无他队，同小军七八名，并太监一人，奔出营外，探听满兵虚实。至一小岗上，正探看之际，突然一箭飞来，正中献忠肩下，由左旁射入，直透其心，顿时满地鲜血长流，献忠在血中乱滚，痛极而亡。
其时，张献忠方四十一岁。