秦檜接到岳飛奏章，又想了一個惡毒的手段，先命令張俊、劉光世等大將的人馬從淮北前線撤兵，然后對高宗說，岳飛的軍隊在中原已經成為孤軍，不能再留，叫宋高宗發出緊急金牌，叫岳飛撤軍。

　　岳飛在前線等待高宗的進軍詔令，沒想到接到的卻是朝廷催促退兵的緊急金牌。岳飛接到第一道金牌，正在猶豫，送金牌的快馬又到了。從早到晚，快馬一個接一個，一連接到十二道金牌。岳飛知道要改變高宗的決定已經沒有希望，氣憤得淚流滿面，說：“想不到我十年來的努力，一下子全給毀了。”（原文是“十年之功，廢于一旦”。）

　　岳飛要從朱仙鎮退兵的消息一傳出去，附近的百姓十分震驚，紛紛聚集在街頭。他們攔住岳飛的馬，哭泣著說：“我們頂著香盆，運著糧草，迎接官軍，這是金人都知道的事。現在相公要回去，我們只有死路一條了。”

　　岳飛看到這個情景，也禁不住流下眼淚，他叫左右兵士拿出高宗的詔書來給大家看，說：“朝廷下了緊急金牌，我不能擅自作主留在這里�。�”

　　百姓們見留不住岳飛，都放聲痛哭；兵士們也個個心酸，掩著臉哭。整個朱仙鎮響起一片哭聲。

　　岳飛心里不忍，宣布暫緩五天撤兵，讓愿意跟隨他們的百姓一起走。過了五天，岳家軍開始撤兵的時候，當地百姓成群結隊隨軍南遷。后來，岳飛奏請朝廷，把這些百姓安置在南方安家墾荒。

　　兀術打聽到岳家軍已走，馬上重整旗鼓，向南進攻。本來被岳飛收復的河南許多州縣，一下子又丟失得精光。

　　秦檜和宋高宗決心向金朝求和。他們恐怕受岳飛、韓世忠等人的阻撓，把他們召回京城，讓韓世忠做樞密使，岳飛做樞密副使，名義上是提升，實際上是解除了他們的兵權。秦檜奪了岳飛的兵權，就派人向金朝求和。公元１１４１年十一月，金朝派使者到臨安，談判議和條件。談判結果：宋、金之間，東面以淮河為界，西面以大散關（今陜西寶雞西南）為界；南宋向金朝稱臣，每年向金朝進貢銀絹各二十五萬。歷史上把這次屈辱投降的和約叫做“紹興和議（紹興是高宗的年號）。