就在这个关键时刻，当完颜宗弼已经做好了渡河的准备工作之时，一个曾经就读于北宋时期的太学生突然出现并请求面见他。这个太学生对完颜宗弼说道：“太子，请您不要离开！京城仍然可以坚守下去！岳少保即将撤退了！”听到这句话，完颜宗弼急忙问道：“岳少保带领着区区五百名骑兵就能击溃我军十万精锐部队，京城内外的人们都日日夜夜期盼着他的到来，怎么还能说是可以守住呢？”太学生回答道：“并非如此，自古以来，没有哪个权臣能够在朝廷内部掌握大权，而在外的大将还能建立功勋的！依我之见，岳少保恐怕连自身安危都难以保证，更何况想要取得胜利呢？”完颜宗弼听了这个人的话，恍然大悟，于是决定暂时不再过河。
果然不出所料，南宋的第一大奸臣宋高宗赵构对于北伐抗击金兵这件事，表现出了极其反复无常的态度。一旦战场形势对宋军有利，他便立刻改变主意，倾向于自我保护，并多次含蓄地命令岳飞停止前进。
到了七月上旬，秦桧趁机指使他的同党、殿中侍御史罗汝楫向皇帝上书，说道：“如今士兵数量稀少，将领不足，百姓困苦，国家资源匮乏，如果岳飞继续深入敌军，岂不是很危险吗？希望陛下颁布诏令，让岳飞撤军回来吧。”使赵构下定决心，大约在七月八日或稍后，向岳飞发出了第一道班师诏。
公元一一四零年，南宋绍兴十年，农历七月十八日。这一天，岳飞派遣部将张宪、王贵等人率岳家军主力自临颍出发，杀向开封。就在同一天，朝廷发出的第一道班师诏也送达岳飞军中。岳飞明白，他最担心的事情还是发生了。但他不甘心，不愿放弃眼前即将到来的胜利。于是，岳飞不顾自己的安危，毅然决定再次上书皇帝，恳请继续北伐。
岳飞在奏书中写道：“据查，金军主力已全部聚集在东京（开封），且屡次战败，士气低落，内部和外部都震惊不已。根据情报人员的报告，金军准备放弃他们的粮草辎重，迅速渡过黄河逃走。现在，各方豪杰纷纷响应我们，士兵们奋勇作战，天时、地利、人和，我方已经占据优势。如今大功即将告成，时机一去不复返，如果错过这个机会，实在可惜！我日夜深思熟虑，希望陛下能够考虑清楚。”
然而，仅仅过了两三天，岳家军的先锋部队已经抵达朱仙镇，距离故都开封仅四十五里。此时，金兵统帅完颜宗弼已经逃离开封，岳家军士气高昂，胜利在望。可是，就在这关键时刻，岳飞却在短短一天内连续收到了十二道金牌。这些金牌是用最快的传递方式——金字牌发出的，每一道金牌都代表着紧急军情或重要命令。
岳飞看着手中的金牌，心情沉重。这些金牌不仅传达了朝廷要求立即撤军的旨意，而且措辞严厉，没有丝毫商量余地。更让岳飞感到震惊的是，朝廷命令他立刻率领大军班师回朝，并亲自前往临安面圣。岳飞看着如雪片一般的金牌，心中充满了忧愁和哀伤，他皱着眉头，眼神中透露出一丝绝望。这些金牌代表着皇帝的旨意，但此刻却让他感到无比沉重。他想起自己多年来的努力与付出，以及那些与他一同奋战的士兵们，他们曾一起经历过无数次的生死考验，如今却要因为这荒谬的命令而功亏一篑。想到这里，岳飞不禁悲从中来，泪水顺着脸颊滑落。
岳飞悲愤地说：“由于这荒唐的命令，我们十年来的努力都白费了！并不是我不尽职，而是奸臣秦桧耽误了陛下啊！”他的声音带着愤怒和不甘，回荡在空气中。
然而，在朝廷的高压下，岳飞不得不遵命班师回朝。当百姓得知这个消息后，纷纷前来阻拦岳飞的队伍，他们哭泣着，担忧金兵会因此报复：“我们戴着香盆，运送粮草迎接官军，现在金兵全都知道了。如果相公走了，我们就没有活路了。”岳飞无奈地叹了口气，含着泪取出诏书给大家看，说道：“我不能擅自留下。”听到这话，人群中的哭声越发响亮，震撼了整个原野。
当军队撤退到蔡州时，又有大批的百姓聚集在衙门内外，人数甚至超过了之前。他们痛哭流涕，不舍得岳飞离开。面对此情此景，岳飞心情沉重，他知道这些百姓对他寄予厚望，但他无法违背朝廷的旨意。他只能默默地站在那里，看着眼前的一切，心中满是无奈和悲痛。只见那名进士率领着众人恭恭敬敬地向岳飞叩首，一脸诚恳地说道：“我们这些人深陷在这肮脏之地已经超过十二年了啊。听说宣相您整顿军队向北而来，志在恢复失地，我们每天都期盼着您的到来，真可谓度日如年。如今您的先头部队已经抵达，旧日的疆土也逐渐得到了恢复，那些丑恶的敌人像野兽一般逃窜，民众们正在庆祝可以回家团聚，他们认为自己终于有幸摆脱了异族人的统治。然而突然听闻宣相您要班师回朝，实在令人费解，宣相即使不把中原地区的子民放在心上，难道就忍心舍弃即将成功的功业吗？”岳飞默默地看着他，眼中闪过一丝无奈和痛苦，他知道自己无法回答这个问题。于是他从怀中取出那份班师诏书，递给了那名进士，并对众人说道：“我也是迫不得已才做出这样的决定，请你们体谅一下吧。”众人接过诏书一看，上面赫然印着朝廷的大印，顿时明白了一切。他们纷纷低头不语，但心中却充满了悲痛与失望。
岳飞看到众人如此悲伤，内心也十分难过。他沉默片刻后，下定决心道：“既然你们如此坚持，那么我便留下军队五天，以此来保护当地百姓迁徙到襄汉地区。”说完，他转身离去，只留下那名进士和其他众人在原地默默祈祷。
大军开始班师回朝，岳飞则前往临安觐见皇帝。此时，北方的忠义军失去了支援，变得孤立无援。而完颜宗弼趁机回到开封，整顿军队，镇压各地叛乱，并再次夺取了被宋军收复的河南地区。岳飞在班师途中听到这个消息，不禁仰天长叹：“我们辛辛苦苦得来的郡县，转眼间全都没了！国家社稷、大好河山，难以再次复兴！天下苍生，更无从谈起复国大业！”
岳飞回到行朝后，心中满是无奈与悲愤。他深知自己再怎么努力，也无法改变朝廷的决策。于是，他不再像以往那样慷慨陈词地劝谏皇帝，而是默默地请求朝廷解除他的军职，让他回归田园生活。然而，赵构却以“未有息戈之期”为由，拒绝了岳飞的请求。
绍兴十一年正月，金国大将完颜宗弼再次率领大军南下。面对金兵的威胁，岳飞毫不犹豫地领命出征，带领军队第三次驰援淮西。这一战，岳飞展现出了卓越的军事才能，成功击退了金兵。然而，这场战役也成为了岳飞最后一次参与抗金战斗。
当岳飞回到府上时，一直寄生在他体内的李明感受到了他身体的变化。此时，李明已经完全失去了对这具身体的控制权，只能眼睁睁地看着一切发生，却无能为力。他知道，岳飞的命运即将走向终点，但他不知道自己接下来应该如何面对。
绍兴十一年，金国在战场上陷入困境，无力继续攻打南宋。于是，他们决定重新与宋朝议和。与此同时，宋廷趁机开始打压手握重兵的将领，特别是坚决主张抗金的岳飞和韩世忠两人。完颜宗弼在给秦桧的书信中语气凌厉地说道：“你们天天跟我们谈议和，但岳飞那家伙却在黄河以北积极备战，而且还杀了我的女婿，这口气我咽不下！必须要杀掉岳飞，然后才能考虑议和。”
四月，朝廷发布命令，让张俊、韩世忠、岳飞这三位大将离开他们统领的军队，前往临安枢密院任职。其中，韩世忠和张俊担任枢密使，岳飞则被任命为枢密副使。
五月，张俊与岳飞一起视察楚州韩世忠的军队。期间，张俊暗中挑拨岳飞，企图让他一起分解这支军队。然而，岳飞毫不客气地拒绝了张俊的提议，并表示自己绝不会参与这样的行为。与此同时，秦桧试图利用军吏耿着的事情来诬陷韩世忠。岳飞得知此事后，立刻写信通知韩世忠，帮助他逃过一劫。
岳飞回到朝廷后，立即遭到了秦桧党羽万俟卨和罗汝楫的弹劾。他们污蔑岳飞在支援淮西时故意拖延时间，并且主张放弃守卫山阳（楚州）。这些莫须有的罪名导致岳飞最终失去了枢密副使的职位。
八月九日，岳飞被罢免了枢密副使的职务，转而担任“万寿观使”这一清闲官职，于是岳飞请求回到江州庐山老家过悠闲生活。
尽管此时岳飞已经失去了兵权和权力，但对他的迫害却并未停止，反而越发紧迫。在秦桧的指示下，张俊利用岳家军内部的矛盾，逼迫都统制王贵诬陷岳飞，而王贵最终屈服于压力。接着，张俊收买了张宪部下的副统制王俊，让他出面告发张宪“谋反”，以此来牵连岳飞，并找人代替他写好了一份告发书。当王俊得知张宪外出时，他趁机将告发书投递给了王贵。随后，王贵将这份告发书转交给了秦桧的心腹林大声。林大声再将它传递给了张俊所在的枢密行府。没过多久，张宪回来了，张俊立刻抓住机会将张宪逮捕。
张俊私自设立公堂，对张宪施以残酷的刑罚，试图逼供。然而，由于没有得到任何有用的信息，张俊竟然编造了张宪的口供，声称他“为收岳飞处文字谋反”。岳飞在江州停留的时间很短，很快就收到了朝廷的命令，要求他返回临安府。
秦桧心中暗自思忖着，他派遣了殿前都指挥使杨沂中去秘密拘捕岳飞，并且特别叮嘱道：“务必要活着把岳飞给带回来！”尽管岳飞已经察觉到杨沂中的来意并不友善，但他仍然毫不犹豫地决定跟随他前往。
时间来到了十月十三日，岳飞被无情地投入了大理寺的狱中，而在此之前，他的长子岳云也早已被关进了监狱。
岳飞挺直了身躯，义正言辞地面对着审讯者，他坦然地露出了自己背上那曾经刻下的四个大字——“尽忠报国”。主审官何铸见到这一幕，内心不禁为之触动。然而，当何铸深入调查后发现岳飞一案存在冤案时，他如实向秦桧禀报。秦桧却冷漠地回应道：“这是皇上的旨意啊！”随后，秦桧改变主意，命令万俟卨来主审这个案件。
万俟卨将王俊等人的诬陷状摆在岳飞面前，怒声喝道：“国家对你有何亏欠，你们三个人竟然要背叛国家？”岳飞坚定地回答道：“我对着苍天发誓，我没有辜负过国家。你们既然掌握着公正的法律，就不应该陷害忠诚的臣子。如果你们继续这样做，我即使到了地府，也会和你们争论不休！””万俟卨一脸奸笑地看着岳飞，然后阴阳怪气地说道：“相公既然没有谋反之心，那还记得当年游览天竺寺时，曾在墙壁上留下的诗句吗？‘寒门何载富贵’这几个字，难道不是你想要谋反的证据吗？”听到这句话，周围的人纷纷附和道：“既然写下了这样的诗句，难道还能说他不想谋反吗？”岳飞听后悲愤交加，但还是冷静地回答道：“我现在终于明白自己落入了秦桧这个奸臣手中，我对国家的一片忠心，恐怕都会化为泡影！”说完，他便不再辩驳，任由狱卒们对他严刑拷打。
万俟卨等人想尽各种办法，试图让岳飞承认谋反的罪名，但岳飞却始终不肯屈服，甚至选择绝食来抗议。最后，在儿子岳雷的悉心照料下，岳飞才勉强支撑着活了下来。
就在这时，宋金两国之间的谈判取得了重大突破。11月7日，双方正式达成了“绍兴和议”：宋朝向金国俯首称臣，并将淮河以北的大片领土拱手相让，这些地方包括曾经被岳家军夺回的唐州、邓州、商州、虢州等地；此外，宋朝还要每年向金国进贡二十五万两白银和二十五万匹绢帛。
和议虽然已经达成，但是岳飞却始终没有得到释放。万俟卨等人对他严刑拷打，用尽各种酷刑，试图逼迫他承认莫须有的罪名，但岳飞宁死不屈，坚决不肯认罪。为了坐实冤狱，他们不择手段，搜罗编造了许多罪名强加给岳飞，包括所谓的岳飞父子与王贵、张宪密谋造反，岳飞曾经口出狂言指责皇帝，以及岳家军在援助淮西时按兵不动、坐视成败等等。这些都是子虚乌有的罪名，目的就是要让岳飞罪不可赦，必死无疑。
大理寺丞李若朴和何彦猷坚信岳飞无罪，与万俟卨据理力争，极力为岳飞辩护。然而，他们的正义之举并未得到应有的尊重，反而遭到罢黜官职的惩罚。宗正卿赵士?甚至不惜以全家百口人的性命担保岳飞的清白，但同样遭到万俟卨的弹劾，不仅被革除职务，还被驱逐出临安。
此外，还有一些文人墨客纷纷挺身而出，为岳飞鸣冤叫屈。文士智浃、平民刘允升、范澄之都勇敢地上书朝廷，为岳飞伸冤。但他们的正义行为并没有得到支持，反而遭受牵连，刘允升更是被押入大理寺，最终惨遭杀害。智浃和范澄之也在流放途中含冤去世。
已经退休在家的韩世忠听到岳飞被关进监狱后非常愤怒，于是质问秦桧为什么要这么做。秦桧回答说：“虽然岳飞儿子岳云写给张宪的书信还没有找到确凿证据，但这件事情或许存在吧。”韩世忠气愤地说道：“相公啊！就凭这三个字‘莫须有’怎么能让天下人信服呢？”