太平公主的父亲是唐高宗李治。李氏家族虽是皇族，但在当时并不是第一等的高门大族。从唐高祖建立唐朝以后，几代皇帝都对传统的一等大族特别是山东士族采取了又拉又打的政策，而以抑制为主。
就在唐高宗显庆四年（659）还下诏禁止太原王氏、荥阳郑氏、清河崔氏、范阳卢氏等“自为婚姻”（《资治通鉴》卷200），以削弱山东士族的势力。当时皇族也多与当世名臣或关中、代北贵族联姻，而基本不与山东士族通好。这一政策直接影响了太平公主的婚姻。
太平公主的母亲是武则天。武氏家族是一个地道的小族。武则天的父亲可能是一个木材商人，她的母亲杨氏则来历不明。武则天当皇后前后，曾编造她母亲是隋宗室遂宁郡公杨达的女儿，但她的心中其实是没有底的。因此当有人瞧不起她的家族时，她还会十分生气。当时的人也清楚这一点，一直拿武氏当小族看。骆宾王在那篇著名的讨伐武则天的《代李敬业传檄天下文》中就直斥武则天“地实寒微”。
这个小小的武氏家族与山东士族相比，有一个很大的特点是“不守礼法”。比如我们看到：武则天的母亲杨氏可以和外孙子贺兰敏之私通；武则天的姐姐韩国夫人在丈夫死后和妹夫（即唐高宗）私通，并把她的女儿也送进宫，侍奉舅舅（即唐高宗）；武则天养有许多男宠为众所周知；武则天的侄子武三思与表嫂（或表弟妹）韦皇后私通；武则天的外甥贺兰敏之奸污了表嫂（或表弟妹）杨氏（即太子妃）等。太平公主从小就生活在这样一个家族里，她不可能不受到这种风气的很大影响。
太平公主幼时常到姥姥杨氏家去。当时表哥贺兰敏之因和杨氏私通，也常在姥姥家。在太平公主来往于姥姥家的日子里，她可能遭到过表哥的强奸。《旧唐书·贺兰敏之传》说：“时太平公主尚幼，往来荣国（指武则天母亲杨氏）之家，宫人侍行，又尝为（贺兰）敏之所逼。俄而奸污事发，配流雷州，行至韶州，以马缰自缢而死”。武则天可以容忍外甥与自己的母亲私通，但不能容忍他奸污自己钟爱的小女儿，因此这件事一出，就坚决把贺兰敏之除掉了。
