太子杨勇生性率直，为人宽厚，但生活奢侈，性喜浮华，内宠很多。其中有四个女子最得嬖幸：一个是高良娣，轻盈娇小，柔若无骨;一个是王良嫒，肌肤映雪，柳腰袅娜;一个是成姬，双瞳点水，一握莲钩;而最美的一个叫云昭训，真是天仙化人，艳冠三美，更是颇讨太子欢心。只是杨勇与嫡妃元氏性情合不来。因此四美轮流当夕，元妃独守空房。独孤皇后是一个善妒的人，不愿文帝宠嫔妃，也讨厌群臣及诸子宠姬妾。大臣中凡有姬妾生子者，皇后多会令皇帝斥责贬官。如今自己的儿子杨勇宠妾疏妻，独孤后极为气愤。每当杨勇入宫见独孤后，独孤后从没有好脸色。本来杨坚对于太子十分信任，常让他参决政事，杨勇提出的意见，杨坚总是乐于采纳，因为独孤后的枕边风，杨坚对太子也有了看法。对杨家来说，由谁来继承皇位，并不是国家大事，而仅仅是家庭问题。
有一年冬至，百官都到太子宫中称贺，杨勇超出礼制规定张乐受贺。独孤后便对杨坚说：“太子勇率性任意，动多乖张，今日冬至，百官循例进宫，他却张乐受贺。圣上尚需劝诫他一番才好。”杨坚听说后，也是心里不快，下诏与群臣，令此后不得擅贺东宫。从此杨坚对于太子渐加猜忌，宠爱大不如以前了。
正好元妃患病死去。独孤后还以为是太子有意谋害嫡妃，心里越发不平。便暗中怀了废去太子杨勇的打算，她派宦官伺察太子的短处，等他有了重大过失，便好将他废去，改为晋王杨广为太子。
晋王杨广生性狡诈诡谲，善于矫饰逢迎，本是一个投机取巧之人。他早有夺嫡的心思，处处沽名钓誉，揣摩了独孤后的情性，一味迎合。杨广与萧妃如胶似漆。后宫虽有美人无数，为取悦于独孤后，杨广不惜将其他姬妾所生骨肉命人掐死，只有正妃萧氏所生之子才禀告父母，给父母造成了仅与元配厮守终身的假相。有一天杨坚与独孤后同临晋王的府第，杨广便将后宫美姬都藏起来。只留下几个又老又丑的宫女充当侍役，身上所穿全是粗布衣服。杨广与萧妃，也穿得很陈旧。一切陈设都因陋就简。架上的诸般乐器都尘堆垢积，望上去便知道已是久不动用了。
杨坚素性节俭，最恨奢华的行为，见到杨广如此，心里很满意。独孤后见晋王室无美姬，只有丑妇，对杨广也极有好感。从此文帝夫妻两人，对晋王另眼看待。有时独孤后遣亲信左右至晋王府第探视，杨广不论来使身份的贵贱，与萧氏都亲至大门迎接，设宴款待，并送以厚礼。于是到处都是为晋王说好话的人。
杨广暗中与心腹宇文述等人密谋夺嫡。他先以重金结交贿赂大理少卿杨约，再通过杨约结交其兄杨素，获得杨素的暗中支持。又收买东宫幸臣姬威等人以为内应。
独孤后欲以晋王立为太子。杨坚因一时太子杨勇没有犯大的过错，心中虽欲立晋王，却不好实行。这时晋王杨广调镇扬州，不到半年便表请入觐。杨广回朝后，表现得慎言庄容，端肃安详。他对于一般朝臣格外谦和，恭而有礼。宫廷内外，都同声说他的好。
到了辞行还镇的那天，杨广入宫别母，见了独孤皇后，他依在独孤后的膝下，泣诉道：“臣儿生性愚蠢，向来不知忌讳，时常怀念双亲，所以未及二旬，递即上表请朝。原思一见父皇与母后，藉聆慈训，哪知触忌了长兄。”
