一个掌握了最高统治者不可告人的核心秘密，而又深受其疑忌提防的高级奴仆，最终下场可想而知！欲加之罪，何患无辞。雍正五年(1727)，被视为眼中沙子的曹頫终于因“行为不端，亏空甚多”被撤职抄家，后又被逮京问罪，枷号示众。
在当时，抄家的惨祸可不是一件儿戏的事情。据记载，雍正十二年(1734)，一位学政(主持考试的官员)被参劾，“上震怒，逮问籍没，妻先自尽，幼子恐怖死”！被抄家那一年，曹雪芹才三岁多。当时正值年关，这本是阖家欢乐、万民同庆的好日子，可是曹府上下却陷入一片恐慌混乱之中，这给幼年的曹雪芹留下了不可抹灭的记忆。
大难临头，曹雪芹由一个锦衣玉食的富家公子，转瞬间成为犯官罪人的孽子孤童。后来雍正暴毙，乾隆继位，为拨乱反正，聚拢人心，对饱受打击的皇室宗亲实行“亲亲瞌族”政策，朝廷撤销了对曹家当初的指控。正当曹家境况开始好转，中兴有望时，岂料又因牵涉皇孙谋反的“弘皙逆案”，再次被抄家问罪。这次比雍正年间的那次抄家情形更惨，如果说那次还能“跑门路”找靠山暗中维护帮衬的话，这次是彻底的众叛亲离，无依无靠了，诚如《红楼梦》中所言：“身后有余忘缩手，眼前无路想回头。”
曹雪芹的家世就是这样奇特。一方面他们是接近皇权被万人艳羡的内务府显贵，享受着人间罕有的富贵繁华；另一方面又被喜怒无常的皇帝时刻操纵着命运，是生杀予夺皆受制于皇家的“世代家奴”。雍正多次骂曹家这种人是“包衣下贱”、“卑鄙小人”，不值一文钱。就连曹雪芹当年深受皇恩风光无限的祖父曹寅向康熙皇帝谢恩，追述身世时，还要称其先人为“包衣老奴”。其中血泪，历经了曹家沧桑巨变的曹雪芹刻骨铭心，没齿难忘。他在《红楼梦》中借贾府奴仆之口，说出“你知道‘奴才’那两个字是怎么写的？”惊魂一语，内含多少感慨悲凉？
曹家衰落后，穷困与贫窘一直追随着曹雪芹，他先后寄居过自己的姑母家、岳丈家，也曾住过庙院、马棚等地。曹雪芹出身富贵，过惯了被人伺候的日子，现在却寄人篱下，其内心之凄凉可想而知，熟悉他的朋友形容他道：“燕市哭歌悲遇合，秦淮风月忆繁华。新愁旧恨知多少，一醉嘚嘚白眼斜……”他对这个社会有太多太多的感触，从此潜心文字，回归内心。
大约在乾隆九年(1744)前后，二十岁的曹雪芹动笔写作《红楼梦》，并一发而不可收拾，由原来“闲来偷笔”变成了终身的事业。
