为了不至于使自己在百年之后皇位落于外姓人氏之手，宋高宗被迫在宋太宗的哥哥宋太祖的后代中寻找可以继承自己皇位的人选。与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事。经过一番仔细的搜寻，宋高宗终于找到了一胖一瘦两个小孩。在两个太子人选当中，赵睿便是其中一位偏瘦的小孩。刚开始，宋高宗对赵睿并没有太大的好感，而是中意胖点的小孩。
按理说赵睿继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。事情的经过是这样的：有一次，宋高宗将赵睿和胖小孩叫到一起，恰巧此时闯进了一只猫，赵睿正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下；而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁。
胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，最终，高宗打发走了胖小孩，将赵睿留在宫中。按理说，赵睿被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。
究其原因，主要有两个方面：其一是赵睿非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹；其二是宋高宗的母亲韦太后不喜欢赵睿，而喜欢另一个养育在宫中的赵琢，她一直劝高宗立赵琢为太子，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵睿和赵琢的万全之策：给他们两人分别送去十名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。宋高宗想出的这个招数很管用，效果也很明显。送给赵睿的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女。最终，赵睿通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
后人评价赵构，说他一生行事，唯选太子最称公允。能上慰天地，下慰祖宗，仅此而已。然而，一则有宋太祖的先例，二来自己没有儿子，所以选立孝宗，也实在是出于无奈罢了。
