《伊索寓言》里有这样一头野驴，和狮子合伙去打猎，打猎结束，自己也成了狮子猎品中的一部分。张俊根本不会想到，自己就是这样的一头可恨、可悲，又可怜的驴。
赵构和秦桧联手导演了一出蹩脚的“杯酒释兵权”后，虽然已经顺利地剥夺了几个军界大牌的兵权，但他们并不会就此罢手。
要知道，三人的兵权虽然被解除了，但他们的军队还原封不动地驻守在防区上，且以这三个人的影响，军队还有被他们策反的可能。尤其是岳飞和韩世忠，他们多年来与将士们一起浴血沙场，患难与共，情同手足且威望素著。将士对他们“有念旧而不能忘者”比比皆是。岳飞的军队班底更是由其本人在宜兴驻军期间亲自组建起来的，活脱脱就是一支私人武装。
要消除这方面的疑虑，就必须彻底地肢解这三支军队！
秦桧的如意算盘是：利用三大将之间嫌隙，挑拨他们互相诬陷、自相残杀。
第一步，由张俊和岳飞组成二人审核小组，前往韩世忠军驻地楚州，随便找个理由，把淮东军撤回长江南岸的镇江府。秦桧认为，韩世忠兵权被除，他手下的兵将肯定会产生种种猜疑，再加上调动军队，人心就更加惶乱不安，那时，由张、岳二人出面进行弹压，放大事实，激化矛盾，从而肢解军队，黑掉韩世忠。
第二步，摆平了韩世忠，依法炮制，由张俊去搞垮岳家军。
第三步，自己亲自出马，直接收拾张俊。
绍兴十一年（1141年）七月，岳飞刚回到临安，就遭到了赵构一顿暴风骤雨般的训斥。
赵构先是像小学生背书似的将张俊的话一字不差地背了一遍，责问他为何主张放弃山阳（楚州）之地？然后一拍案子，气呼呼地说：“你这样做，无非是附和一些无知小人的话以博取声誉，太令我失望了！”（“山阳要地，屏蔽淮东，无山阳则通、泰不能固，贼来迳趋苏、常，岂不动摇，其事甚明。比遣张俊、岳飞往彼措置战守，二人登城行视，飞于众中倡言：‘楚不可守；城安用修。’盖将士戍山阳厌久，欲弃而之他，飞意在附下以要誉，故其言如此，朕何赖焉。”）
赵构的训斥刚过，岳飞又遭到了右谏议大夫万俟的弹劾。
万俟，字元中，产自开封阳武（今河南原阳），是个十足的小人。万俟是由古代鲜卑族的部落名演化成的复姓，读“莫其”；，则读“屑”音，是“契”的本字。政和二年（1112年）登第，历任枢密院编修。南宋绍兴初年擢湖北转运判官，后来又转升为提点湖北刑狱，岳飞当时任湖北京西宣抚使，“宣抚荆湖”，也就是说，万俟曾在岳飞的辖区上过班。
岳飞了解到此人阴险毒辣，就不怎么待见他（“遇不以礼”），没承想，大大得罪了这个小人。
美国总统林肯曾不无感慨地说过：“宁可给一条狗让路，也比与它冲突被它咬一口好。如果被咬伤了，即使把它杀掉也无济于事，得不偿失。”从万俟后来的表现看，他就是这样的一条疯狗。
万俟调湖南转运判官，靠上了秦桧，唯秦桧马首是瞻。秦桧要收三大将兵权，“力助之，言诸大将起行伍，知利不知义，畏死不畏法，高官大职，子女玉帛，已极其欲，盍示以逗遛之罚，败亡之诛，不用命之戮，使知所惧。”现在，有了秦桧的授意，他更是大行整人之能事，“希秦桧意，谮飞于朝”，一心一意要将岳飞搞臭搞倒。他弹劾岳飞的奏章大意如下：
“枢密副使岳飞自从升官发财以来，志得意满，不思进取，日益颓废。今年春季金人大举入侵，整个淮西疆场一片混乱，皇上再三催促其从鄂州发兵与枢密使张俊互为犄角抵御强敌，玺书络绎，使者相继于道，而岳飞狗胆包天，居然违诏抗旨，不按时出发，迁延再三，以龟速到了舒、蕲二州，又出工不出力，匆匆走过场就回去了。万幸的是其他各部团结一致，齐心协力，这才将敌人赶走，不然，该死的岳飞阻挠国事，后果不堪设想！六月份，岳飞与张俊视师淮上，他又对淮东将佐大放厥词，说楚州不可守，沮丧士气，动摇民心，远近闻之，无不失望。由此，敬请皇上就地免除岳飞副枢职事，将他赶出朝廷，严惩不贷！”（“臣伏见枢密副使岳飞，爵高禄厚，志满意得，平昔功名之念，日以颓情。今春敌寇大入，疆场骚然，陛下趣飞出师，以为犄角，玺书络绎，使者相继于道，而乃稽违诏旨，不以时发，久之一至舒、蕲，匆卒复还。所幸诸师兵力自能却贼，不然，则其败挠国事，可胜言哉！比与同列按兵淮上，公对将佐谓山阳不可守，沮丧士气，动摇民心，远近闻之，无不失望。伏望免飞副枢职事，出之于外，以伸邦宪。”）
给岳飞列出了三大罪状：一、生活低迷、意志消沉；二、淮西用兵，违诏抗旨；三、出使淮东，动摇民心。
这三条大罪中，第一条或许还有点影儿，岳飞兵权被解，壮志难酬，多少会有点失落。但第二条和第三条就纯属诬陷了。
金人在绍兴十一年（1141年）正月十九日正式发动侵略，二月初三日进入庐州。而赵构给岳飞下诏援救淮西的时间却是二月七日，临安和鄂州相隔千里，接到诏书，岳飞在二月十一日正式起兵，从时间间隔上看，并无任何拖拉怠工的迹象，而且，岳飞动身前，还主动请缨说：“虏举国来寇，巢穴必虚，若长驱京、洛，虏必奔命，可以坐制其弊。”又哪里谈得上违诏抗旨？！（“迁延玩寇”和“畏敌避战”属于张俊、刘光世等人的强项，奇怪的是，这两人却从未因此而受到过弹劾。）二月十九日岳飞抵达淮西地区的舒州时，还收到了赵构发来的《御札》，上面有极其煽情的夸奖：“得卿九日奏，已择定十一日起发往蕲、黄、舒州界。闻卿见苦寒嗽，乃能勉为朕行，国尔忘身，谁如卿者。览奏再三，嘉叹无敌。”
要说岳飞主张弃守楚州，那绝对是颠倒黑白，无中生有了，岳飞一生高举“收复”大旗，并为此百战沙场，怎么会同意主动放弃国家疆土？倒是张俊拆毁海州城，主动放弃了国家疆土，强押居民南迁，不但没受到责怪，反而得到了嘉奖。
可赵构还是表现得很激动，他挥舞着奏章说：“哪哪哪，楚州要地，屏蔽淮东，没有了楚州，通州、泰州就难以再守了，如果敌人穿越通、泰，直取苏、常，山河摇动！难道这点军事常识都不懂吗？！哼哼，张俊和岳飞在楚州阅兵时，据张俊反映，岳飞的确是在军中扬言，‘楚不可守，城安用修’。他为什么要这么说？肯定是将士戍守楚州太久，不耐烦了，想换地方，岳飞为了哗众取宠，这么附和博取要誉，这种人，靠不住啊！”
秦桧一个劲儿地点头，语重心长地说道：“岳飞说这样的话，是博出位啊！”（“岳飞对人之言乃至于是，中外之人或未知也。”）
经过这对奸帝奸相二人组的点评，岳飞的罪状就定性了。
八月初，御使中丞何铸和殿中侍御使罗汝楫更相继上疏，重复张俊和万俟的口水话，说岳飞“被旨起兵，则略至龙舒而不进；衔命出使，则欲弃山阳而不守”，此外，又增加了一条，说岳飞一介武臣，“妄自尊大，略无忌惮”，竟然大胆妄为，议立皇储，热衷战争，反对和平，反对与金国友好相处，实在是“不避嫌疑，而妄贪非常之功；不量彼己，而几败国之大事”。劝赵构、秦桧抓紧对岳飞“速赐处分，俾就闲祠，以为不忠之戒”。
这二人是在同一天上疏的，上疏的内容又是如此一致，如果说没有预谋，很难让人相信。
而这二人和张俊、万俟一样，都有一个共同的名字——“秦党”。他们的所作所为分明是受了同一个人的指使。他们到底想干什么，用脚趾头都能想得出。
按照惯例，台、谏官一旦上章弹劾，宰执就应该引咎辞官了，岳飞无辜蒙受了这些不白之冤，悲愤交加，呈上了辞职报告，称“臣性识疏暗，昧于事机，立功无毫发之微，论罪有丘山之积”，“岂惟旷职之可虞，抑亦妨贤之是惧，冀保全于终始，宜远引于山林”。
赵构的答复于八月八日下达，正式宣布除免岳飞的枢密副使之职，但“记功掩过”，“宠以宽科全禄”，“所以保功臣之终”，特意授岳飞一个“武胜定国军节度使、充万寿观使”的虚衔，“俾就闲祠”去也。
这一年岳飞三十九岁，正当盛年，遭受连番打压，壮志难酬，胸中抑塞，心灰意冷，颇有未老先衰之感。秋夜月朗，半夜梦起，天地寂静，绕阶独行，感慨故土难复，热血已冷，头上华发催生，自己不再是那个意气风发、纵横千里的年轻人，苍凉无限，写了一阕《小重山》词：
昨夜寒蛩不住鸣，惊回千里梦，已三更。
起来独自绕阶行，人悄悄，帘外月笼明。
白首为功名，旧山松竹老，阻归程。
欲将心事付瑶琴，知音少，弦断有谁听。
不日，岳飞以一个闲夫野老的身份罢官赋闲，回到江州私邸暂住。岳云也和父亲一起被免职。
这时的岳飞已完全脱离军队，一无兵，二无权，不仅对赵构等人的议和乞降大业无力干预，对赵构的统治地位也没有任何威胁。岳飞自以为事情就到此为止了。
要知道，大宋的枢密副使属于执政级别的职位，在太祖誓约保护范围之内，享有免死的特权，一旦罢官，最多不过被外放任知府之类官职，被转为提举宫观类的闲职就是最重的处罚了。而且，赵构还一口应承了“所以保功臣之终”。
然而，罢官，只是噩梦的开始……
接下来发生的事，是岳飞远没有想到的。