吴桂贤心底无私，为人低调，她怎么能料到当时中国政治的云谲波诡，连所谓“四人帮”之说她也是到了1975年5月才知道。1975年5月3日，毛泽东从外地回到北京，在游泳池召见在京中央政治局成员开会，毛主席同开会的人一一握手，大家都坐下后，毛主席讲，回到北京，江青要求见我。我说：不见!要见，政治局成员一起见。就是在这次接见中，吴桂贤第一次听到毛泽东批评“四人帮”。
何谓“四人帮”?吴桂贤感到蹊跷。次日晚上开会讨论毛主席指示前，她向倪志福请教。倪志福说毛主席1974年7月在政治局会上讲过“四人帮”的问题。1974年7月，吴桂贤还在陕西。听到这些人在和毛主席作对，吴桂贤吃了—惊，都是最高层领导了，还想咋的，还敢和毛主席过不去!
1976年10月“四人帮”倒台了，准备召开党的十一大，吴桂贤开始还是代表资格审查组的成员。十一大召开期间，前面讨论中共中央主席华国锋报告时还风平浪静，当进行到中央委员人选讨论时，吴桂贤就感到了前所未有的委屈与压力。登在简报上的材料让吴桂贤不知所措。她觉得自己对周总理一片爱心，哪里会有反周总理的想法!吴桂贤以一个普通共产党员的名义，请求就以上事情，组织上派员调查落实。
这时的吴桂贤，经过几天激烈的思想回顾与斗争，一时心若止水。她一方面打报告给党中央，要求回到西北国棉一厂去;另一方面给华国锋、邓小平以及李先念等中央主要领导办公室去电话，希望回去之前，面陈自己的想法。答复很快就有了，华国锋刚开完党代会，又要准备会见南斯拉夫总统铁托，要她略等一等。邓小平办公室则表示，国庆以后可以安排。李先念在国务院紫光阁见她的时候讲，你是先进工人代表上来的，在中央工作三年，总的不错，你还年轻，回去好好工作。吴桂贤表态，过去是怎么工作的，现在和今后仍然会怎么去工作。她在同华国锋面陈想法的时候说，一是请求组织上把她的问题搞清楚，二是回到陕西国棉一厂，回到赵梦桃小组去。华国锋说，厂里就不用回去了，到省里工作吧。当时的中共中央组织部长胡耀邦做出批示：“吴桂贤同志回陕西工作，中央已经同意。可以安排当大城市的副市长或大型国有企业的副厂长。”9月27日，她乘车返回咸阳。回到家里一天也没休息，就赶着要上当晚的夜班。爱人叫她休息两天再说，她说什么也不肯，丢下行李，佩上白围腰，戴上工作帽，就到车间上班去了。她还和原来一样，挡四台车，一台不少，保质保量完成了当天任务。回到厂里，回到工人姐妹们身边，她心里有说不出的踏实。她说：“我始终不会忘记，我是个纺织工人!”是啊，陕西咸阳，西北国棉一厂，这是她政治生命的起点，也是她精神的栖息之地。
