耿飚到中联部后，当务之急是解决干部问题和领导班子问题。当时部里100来人，既缺翻译又缺领导干部和调研骨干。他一方面抵制“四人帮”向中联部安插亲信，另一方面立即制止将“五七”干校干部分配到地方的“拆庙”行动，陆续将干部分批调回部里工作，并且从部外调进一批忠于革命事业、有丰富的外事工作经验、仍遭受极“左”路线迫害的老同志。耿飚顶住压力，坚决落实党的干部政策，平反冤假错案，多方做说服工作，强调要实事求是地对待干部，落实党的干部政策，逐步建立起中联部领导班子，恢复中联部组织机构。
九一三事件之后，耿飚顶住了江青以“李进”笔名在《人民画报》(当时《人民画报》的主管单位外文局属中联部领导)上开辟摄影专栏的要求，强调说“不能搞特殊。我们还是按照原则办事”。
1971年12月16日，中共中央决定：在工、青、妇未恢复对外活动前，对工运、青运、妇运的研究工作和必要的外事活动，暂由中联部负责统管。12月22日，耿飚召集工、青、妇军代表、负责人开会，商议成立工青妇组及其职责范围、人员编制、具体人选问题。1972年2月初，中联部工青妇组成立，为下一步恢复和发展群团组织和工作创造了条件。
20世纪70年代初期，中国外交工作有了新的开拓和进展。1971年10月，我国在联合国的合法地位得以恢复。1972年2月，美国总统尼克松来华访问。同年9月，日本首相田中角荣率团访华，随之实现中日邦交正常化。耿飚有针对性地考虑如何开展中联部的工作，首先可以同各国的社会党、社民党进行交往，也可以同第三世界国家中主张反帝反殖的民族主义政党甚至执政党建立关系。周恩来听完报告后说：“你这个想法很好。”遵照周恩来的指示，中联部邀请了少数国家的社会党或民族主义政党的成员来华访问。
1974年1月25日，在中央和国家机关“批林批孔”动员大会上，江青支持造反派公开向耿飚发难，并以“赠书”为名，施加政治压力。但是耿飚不屈服，批示道：“不必表态，也不必道谢”，并准备以辞职相抵制。周恩来说：“耿飚同志，我送你三句话。第一，人家要打倒你，不论怎么打，你自己不要倒；第二，人家赶你，不管他怎样赶，你自己不要走；第三，人家整你，不管他怎样整，你自己不要死。”这增强了他抵制“四人帮”的决心。周恩来因病住院期间，中央决定由邓小平副主席参加一项外事活动，王洪文硬要挤进来，企图突出自己，耿飚巧妙作了周密安排，使王洪文的图谋落了空。
耿飚在主持中联部工作期间，主动为中央当参谋出主意，使各项工作取得了许多突破性的进展。
“坚决执行党中央交给的任务”——粉碎“四人帮”之际
1976年9月30日晚7时，耿飚接到通知到天安门城楼参加国庆座谈会。看见“四人帮”的几个部下得意忘形地坐在第一排，耿飚感到愤愤不平。他立即找到中央办公厅主任汪东兴，提出了自己的看法。汪东兴接受了他的意见，将座位作了调整。
