时间一久，武则天掌控住了大唐王朝的命脉，成为王朝幕后的操纵者。
可想而知，李治全副心思都放在了自己性命上头，连自己的王权都丢到了一边，朝政都无心管理了，哪里还有心思去管小妹妹的家务?更何况从情理上来讲，宫廷女眷的事情，都应归皇后主持。
而武则天么，她对新城公主心存忌惮芥蒂，更是乐见此事，来了个“大事化小、小事化了”。
新城公主只得含着眼泪离开皇宫。
新城公主进宫之时，韦正矩心里倒还有几分畏惧之心，唯恐皇帝降罪。当他看见新城公主容色憔悴、神情黯然地返回之时，心中不禁大喜若狂，自觉逃过一难。
庆幸之后，韦正矩越发觉得，这位公主可当真是在皇帝皇后面前彻底地失宠了。狂喜之后紧接着的就是狂怒和狂燥，他更加认定，自己做新城公主的丈夫，真是大大的失策，这位公主看来连自身都难保，日后定会给自己招来祸患。
于是，韦正矩对新城公主的折辱刻薄，更加地变本加厉了。
新城公主自知投告无门，皇女的骄傲也使得她不愿意再去看武皇后幸灾乐祸的神情。除了国家典礼，她从此不再跨进哥哥的皇宫一步。
这一切看在韦正矩的眼里，更加助长了他的嚣张气焰。他本来就是个在骄纵自许中长大的士族子弟，一向目中无人。此后，凡是他觉得自己在朝廷上受了什么气、被谁压制了，他都要归咎于新城公主，回来便向她发作一通。
虽然不敢出手打骂，但是言辞刻薄尖酸，更让人不堪忍受。
现在的很多人恐怕不知道，自魏晋以来，中原形成了氏族风气，有些在氏族志中排名靠前的士家大族，虽然权势财富不如人，但是却认为自己拥有与生俱来高人一等的血脉。
这些痴狂于士族昔日地位的人，不但自视极高，而且往往目中无人，就连皇家都不一定放在他们的眼里。——韦正矩就是其中的表表者。
新城公主屈辱不幸的遭遇，渐渐地被很多皇亲国戚们所知道。但是除了同情和安慰，谁也没有办法帮助她。而那个真正能够让她恢复自由的人，却已经离她咫尺天涯，对她不闻不问。
她只能在以泪洗面中过日子。虽然身边还有一些为她打抱不平的侍丛，更多的则都是些跟红顶白的势利小人(宫庭中这样的人材一抓一大把)，新城公主陷入了孤苦无依的境地。
