杨素本是杨广的人，他到了东宫，杨勇慌忙更换好了衣冠。哪知杨素故意东看一回花草，西看一回亭台，只是挨延不去。杨勇等候了多时，不禁着恼起来，待到杨素徐行入见，杨勇怒形于色说：“公姗姗来迟，究属何意?圣上虽欲将我废立，此时究竟尚未实行，你莫自恃功高，便不把我放在眼里。”杨素佯作失惊道：“老臣该死，进了园中，一因年迈，脚步迟了些;二因贪看了园中景色，因此有劳殿下久候。还念老朽可怜，恕罪一遭。”杨勇冷笑：“说得倒好，你来此做什么?”杨素又假意微叹说：“圣上不知听信了谁的谗言，意欲废立东宫。老臣素知殿下，仁德无亏，今日特来安慰殿下的。”杨勇听了，以为杨素真心好意，不免言语之中，露出怨愤。杨素听在耳中，回到宫里，见了杨坚，便一一说了出来。杨坚大怒，便在成德殿上，召集了百官宣诏废杨勇。过了数日，即立晋王杨广为太子。
第二年的八月中秋晚上，独孤后一病去世，年未五十。杨坚自从独孤后殁后，为结发妻子办完丧事，便以年逾花甲之高龄，奋起余勇，接连召幸陈宣华夫人与蔡容华夫人。陈宣华夫人原是陈后主的妹妹，生得国色天香，闭月羞花。蔡容华夫人也是南国佳人，一样风流娇媚。二人早已入宫，文帝也早有意，只是以往碍于独孤后而无缘得幸。从此隋文帝日日欢宴，时时歌笑，比独孤后在时，放浪了不少。
有一天大雪狂风，天气阴沉，被囚禁的杨勇爬上东宫院子里的大树，在风雪中向文帝的方向大声诉说自己的冤情，正巧文帝走出宫殿，听到了他的声音，问身边的杨素：“这是勇儿的声音，他在喊些什么?”杨素冷淡地答道：“前皇太子疯了，请陛下不用过虑。”
杨坚年老，禁不起每日床笫声色，不久染病在床，杨广趁间调戏宣华夫人，杨坚听说后哀叹道：“畜生何足托大事，独孤误我!”然而此时已于事无补。杨广派亲信宇文述领东宫侍卫逮捕了柳述、元岩，强行逐出宣华夫人与侍疾宫女。右庶子张衡怀藏利刃，深入文帝驾前，一举结果了文帝杨坚。不久，杨广即位，是为历史上最荒淫无道的隋炀帝，短短十几年间，便将其父杨坚苦心经营数十年的隋帝国折腾得摇摇欲坠。
《北史》记载：“后颇仁爱，每闻大理决囚，未尝不流涕。”关于独孤后的种种事迹，是一位难得的贤妻，然而“性尤妒忌，后宫莫敢进御。尉迟迥女孙有美色，先在宫中，帝于仁寿宫见而悦之，因得幸。后伺帝听朝，阴杀之。”在政治的大事上，独孤后可谓贤良明智，在夫妻关系上却失去了分寸。清朝的赵翼在著作中写道：“独狐皇后善妒，殃及臣子。”这个独孤皇后不单是不许自己的丈夫纳妾，也不准朝中大臣们娶小老婆，是一位标准的一夫一妻婚姻制度的崇尚者。
一夫一妻是隋唐时期基本的婚姻制度，但实际上这只是对妇女的限制，而对拥有特权的男子来说，可以占有多个女子，具体表现形式为一夫一妻多妾媵制。如隋朝杨素，“后庭妓妾曳绮罗者以千数”。又如大臣贺若弼，“婢妾曳绮罗者数百”。丈夫一旦宠幸其他女子，就会使妻子或在感情上受到冷落，或在家庭生活中受到排挤，她们自然要产生出强烈的嫉妒情绪。这是作为家庭主妇的妻子的一种正常的自卫心理反应，她要求维护自己的正当权利。于是，她往往要把满腔愤恨发泄到被丈夫宠幸的其他女子身上，对她们进行种种残酷的迫害，这便是在畸形变态的嫉妒心理驱使下的报复行为。
