高宗是日下诏： “宣抚司并罢，遇出师，临时取旨。逐司统制官已下，各带御前字入衔，且依旧驻剳;将来调发，并三省、枢密院取旨施行。仍令统制官等各以职次高下轮替入见。”
随后高宗命韩世忠负责将枢密使办公地点迁移，置司镇江，张俊与岳飞赴淮东巡视边防。张俊见海州城不易守，毁城迁民至楚州。而楚州屡遭战火，城墙破败不堪，俊欲修固，岳飞竟言：“当戮力以图恢复，岂可为退保计?” 戮力以图恢复，就可不为退保计么?只知全力进攻，却不要防守，结局会怎样呢?史载： “(韩世忠)授武宁安化军节度使、京东淮东路宣抚处置使，置司楚州。世忠披草莱，立军府，与士同力役。夫人梁(红玉)亲织薄(草帘)为屋。将士有怯战者，世忠遗以巾帼，设乐大宴，俾妇人妆以耻之，故人人奋厉。抚集流散，通商惠工，山阳(楚州旧名)遂为重镇。刘豫兵数入寇，辄为世忠所败。”
可见，楚州乃屏蔽淮东、宋金必争的军事重镇。而此时岳飞竟说出这样的话，这是一个军事专家应有的态度么?难怪张俊听了勃然变色!
[疑点]：岳飞不愿意交出兵权，现在又对战略要地的防守横加指责，张俊对岳飞的忠心程度更加怀疑。
回大本营后，岳飞始终坚持辞去枢密副使一职，返回两镇(鄂州、襄阳)，也就是回到原先的统兵位置上去。高宗诏曰： “朕以二、三大帅各当一隅，不足以展其才，故命登于枢机之府，以极吾委任之意。”
“今卿授任甫及旬浃，乃求去位，行府之命，措置之责，乃辞不能。举措如此，朕所未喻。夫有其时，有其位，有其权，而谓不可以有为，人固弗之信也。”
把三大帅聚到一起，同掌国防之重，而各地军兵轮流入卫，史载： “乙亥，诏有司造克敌弩，韩世忠所献也。帝谓宰执曰：‘世忠宣抚淮东日，与敌战，常以此弩胜。朕取观之，诚工巧，然犹未尽善。朕筹画累日，乃少更少，遂增二石之力而减数斤之重，今方尽善，后有作者，无以加矣。’”
高宗身为一国之君，竟能完善前线用的“克敌弓”，而岳飞就是不肯在大本营干，一再要求辞职。
[疑点]：岳飞为什么不肯在皇帝手下指挥军队?不同样是为了国家么?岳飞的忠心再次被质疑。
不但张俊怀疑岳飞的忠心，其他文官也怀疑岳飞的忠心，著名忠臣何铸指责岳飞：
[宋纪一百二十四] 壬子，右谏议大夫万俟禼疏言：“枢密副使岳飞，爵高禄厚，志满意得，平昔功名之念，日以颓坠。今春敌兵大入，趣飞掎角，而乃稽违诏旨，不以时发。久之一至舒、蕲，匆卒复还。幸诸帅兵力自能却敌，不然，则败挠国事，可胜言哉!比与国列按兵淮上，公对将佐谓山阳为不可守，沮丧士气，动摇民心，远近闻之，无不失望。望免飞副枢职事，出之于外，以伸邦宪。”癸丑，帝谓大臣曰：“飞倡议不修楚州城，盖将士戍山阳久，欲弃而之他。飞意在附下以要誉，朕何赖焉!”
何铸(1088年～1152年)，字伯寿，余杭人。北宋政和五年(1115年)进士。历官州县。以品德高尚、品性刚直入为诸王宫大小学教授，先后任秘书郎、监察御史、御史中丞等职。南宋绍兴十一年(1141年)，岳飞下狱，何铸时任御史中丞，被命主持审讯。何铸曾经试图免除岳飞死罪。 但是，皇帝坚持重判。后来，何铸因反对议和， 降为秘书少监，谪贬徽州。后起用为温州知府。不久授端明殿学士提举万寿观兼侍读，力辞不就。再次出使金国，回国后任资政殿学士，出知徽州。不数月，提举江州太平兴国宫。年六十五而卒。谥“通惠”，嘉定元年(1208年)，改谥“恭敏”。
[宋纪一百二十四]：“御史中丞何铸、殿中侍御史罗汝楫复交疏论之，大略谓：‘飞被旨起兵，则略至龙舒而不进;衔命出使，则欲弃山阳而不守。以飞平日，不应至是，岂非忠衰于君邪!自登枢筦，郁郁不乐，日谋引去。尝对人言：‘此官职，数年前执政除某而谋不愿为者。’妄自尊大，略无忌惮。近尝倡言山阳(楚州)之不可守，军民摇惑。使飞言遂行，则几失山阳，后虽斩飞何益!乞速赐处分，俾就闲祠，以为不忠之戒。”
