在“文革”大动乱中，周总理殚精竭虑支撑了这个局面，那时候他的处境也是很困难的，他一方面不能违抗毛泽东发动“文化大革命”这个决心，同时又要跟林彪、江青反党集团进行斗争，还要千方百计保护革命干部。“文化大革命”一闹起来要抄我们的家，要批斗我们，周总理就及时下了决心：让我们搬到国务院来住。他公开跟造反派讲：我不能没有几个帮手，这么大的国家，千头万绪，许多事情都叫我自己抓，不合理，我得有几个帮手。在生产方面他主要靠人们讲的“三只胳膊”，靠余秋里、谷牧。所以我们以后就搬进了国务院西花厅附近那几座房子里。开始的时候大家讲，你谷牧一次也不出来那不脱离群众啊，效果不好。决定我一个礼拜出去三次两次。所谓出去就是挨批斗，什么都有，喷气式啦，罚站啦，游街，出去一次大体都是5个小时。他好不容易揪到你，早上8点出去，一般都搞到下午1点左右，最后回到国务院，这时人就像散了架一样，连水都不想喝了。这个情况坚持了一段，最后李富春向周总理建议，谷牧一个礼拜出去两次三次，又耽误工作，他身体也受不了啊。周总理说：什么两次三次，不出去了。此后我们就搬到国务院住了。
那时候两派总有些事要求见周总理，他见群众的时候总是带着我，还有余秋里。后来余秋里病了，就剩下我一个人。带着我们一起出场，而且公开地就讲，我没有助手不行啊!他们都是帮我做工作。因为群众一见面就是喊打倒，而且公开质问周总理，你为什么要带着他们出来?我们当时都被打成“走资派”嘛!后来又都被打成“叛徒”、“特务”。尽管如此，他照例带着我们出去。
那个时候我管三线建设，管港口，我在北京也做不了工作了，偶尔一个礼拜一次约外面部长进中南海谈谈问题。有一次，一个部长级的干部拒绝出席我的会议，他那话就很难听了。他说“叛徒”召集会议，我们去参加，最后作出决定，让“走资派”执行。这种局面我们不参加。所以以后在那里连开会也很困难了。
这个情况下我曾经向周总理说：让我到下面锻炼一下吧，我在北京做不了什么事情。周总理考虑了一下说：好哇!那你出去看看。我们那时对三线建设不放心，怕“文化大革命”连三线建设也搞乱了，将来后患无穷。我就到了西南云、贵、川走了一趟，最后又经过周总理批准，到湖北的潜江，潜江刚发现一个大油田，是湖北军区的司令员韩德山在那里主持，以后就派我到那里去了，劳动锻炼了一年，身体支持不住，就回来了。回来我就去见周总理了，我说了我下放劳动情况，我们都当作下去锻炼，还经常给周总理写报告。我说回来休息一下，然后看看安排什么工作。
休息了几天，周总理对我很关心，派秘书来看我，以后身体也渐恢复了，我就去见周总理，我说我下一步究竟怎么样?还是回原来的地方去劳动锻炼还是怎么样?总理说：那个地方不要去了，但是你现在回建委有困难，两派斗得你胜我败互不服气。我给你出个题目，你抓抓港口建设怎么样?他说：我提个口号：三年改变港口面貌。那时候我们的港口，那是落后得很了，那时候万吨级的泊位51个，万吨级是小船，国际上拉煤、拉矿的船都是50万吨、60万吨，那我们要靠万吨级的船来拉这些东西就不行了，所以我就沿海一个港口一个港口地研究，能不能搞大泊位，还有哪些地方可以开辟新港，比如日照、温州、宁波安排了一批泊位，还有云、贵、川的房城增加了一个出海口。
周总理曾说过，该花的钱一定要花，你把港口早修起来，你不就很快地就赚回来了。
我说我很高兴抓这个事儿，我不愿意回机关，那时候我就抓港口了。从秦皇岛顺着沿海，青岛、烟台、威海，一直走到广西的房城。我印象很深刻的是，我在西南那里还办了一件事，我发现房城是一个很好的港口，云、贵、川的物资要通过长江转一个大的圈子才能到香港，到国际上去。我说你这个地方修一个几十里路的铁路，把这个路修通了，从房城这里出去路多近呐!办了这个事，对云、贵、川的对外开放，对外交通，那是方便得多了。
周总理那个时候抓生产，第一条是保护管生产的干部。他一看我们都不能正常工作了，他才下决心，让余秋里我们两个住进了国务院。他让部长们也分期分批住进国务院去休息一段，然后再出去。
