赵构刚刚即位，金兵就本着痛打落水狗的精神打了过来。眼看小命不保，赵构便遵循“敌进我退，敌退我不追”的原则一路南逃，过起了四处流窜的生活，后来总算是在杭州安了家，并开始充实后宫。在这种情况下，1128年，吴氏被挑中进了皇宫。
当时的南宋朝廷外有金国强兵压境，内有兵痞、刁民时不时地捣乱，这时的吴氏为了保护丈夫，身披铠甲铁盔，腰挎宝刀，整天跟随赵构身边充当保镖。
而赵构那个时候最缺的就是安全感，对于能给自己安全感的吴氏，他自会记在心里。1142年前后，金兵再次发动对南宋的大规模入侵，赵构吓得一度入海避敌，途中还写信给金兵统帅，请求给予怜悯。
和以往一样，吴氏依旧坚定地守在他的身边。赵构念于她的功劳，封为和义郡夫人，跟着到了越州又封为才人。
此后，吴氏开始刻苦学习，博览群书，不久就晋升为仅次于皇后的贵妃。之所以没有升为皇后，是因为赵构心中还一直念念不忘自己的元配——邢氏(邢秉懿)。
邢秉懿被俘时已经身怀有孕，可惜在押往北方的途中不慎坠马流产。然而祸不单行，金国侵略者没有一点怜悯之心，她刚刚小产没几天，金国的盖天大王就要强占她，绝望中的她差点自尽。
赵构做了皇帝后，金国政府为了极尽羞辱，又把他的生母韦贤妃、妻室邢秉懿以及其两个女儿赵佛佑、赵神佑等，统统送到官营妓院中。
