其实让赵构下不了决心确立赵昚为太子的还有三个鲜为人知的原因：首先就是高宗还是抱有亲生子嗣的幻想。他除了寻医问药外，也乞求于神灵，为此举办了隆重的亲祀礼，由宰相秦桧出任亲祠使，赵构先“斋于内殿”。今存有一首臣僚的颂诗说，“则百斯男自可知”，“掖庭应已梦熊罴”。
这种祭祀求神的活动自然毫无效果，久而久之，他才死了心。其次是秦桧的强烈反对。主要是赵昚比较厌恶秦桧的专权卖国，屈辱求和。而秦桧也顾忌赵昚的才华能力，双方互相厌恶，自然就产生了矛盾。正巧赵昚的生父此时病故，秦桧于是上奏要求赵昚守制三年，因为赵昚的皇太子身份并未确定，所以这个要求并不过分。
但秦桧是想借机免去他的皇储身份。但高宗显然不为秦桧所动。守孝期满，赵昚就继续回宫。
后来，秦桧封锁自己病重的消息，赵昚秘密得知消息后，立即通知了赵构，高宗亲自去相府探视，粉碎了秦桧及其爪牙准备让秦桧儿子当宰相的企图。
第三是赵构的生母韦太后不喜欢赵昚，而喜欢另一个养育在宫中的伯琢。赵构自然也是摇摆不定，直到韦太后死后，他苦思冥想，终于想出了一招，决定采用“处女选拔法”。
