当时太祖的后人有上千人之多，宋高宗就用心地挑来挑去，最后挑出一胖一瘦两个小孩。其中那个瘦点的小孩就是赵昚。高宗开始并不喜欢赵昚，而是中意胖小孩。按说赵昚的皇帝梦也就到此结束了，可偏偏突然来了一只猫，赵昚没动，胖孩子却伸脚去踢猫，动作极其粗鲁。这件事让高宗对胖孩子好感全无，就把赵昚留了下来，养在深宫。
赵昚看似未来要接宋高宗的班了，其实不然，因为这才不是第一次检验。他被养在宫中将尽20年，从小接受了最好的教育，长大后封公，后来被进封为郡王，却一直未被确定太子的名份。主要原因有三。
首先就是高宗还是抱有幻想，想自己争取再生个儿子出来。他除了寻医问药外，也乞灵于高，为此举办了隆重的亲祀礼，由宰相秦桧出任亲祠使，本人先“斋于内殿”。今存一首臣僚颂诗说，“则百斯男自可知”，“掖庭应已梦熊罴”。这种迷信活动自然毫无效果，久而久之，他才死了心。
