继JG71联队之后，JG74“莫尔德斯”战斗机联队、JG72、JG73、JBG36“威斯特法伦”和JBG35 战斗轰炸机联队也先后换装F-4F战斗机。1976年4月，全部175架F-4F生产交付完毕。在这之后的20多年里，F-4F一直都是德国空军的主力防空机型，也是德国空军唯一具备超视距空战能力的机型，直到2002年“台风”的到来。
F-4F服役之后，德国空军就开始对其进行升级改进，在之后的20年里，先后完成了“和平莱茵河”、“结构延寿”、“效能提升”三个大型升级计划，从而保证该机能够服役到2010年之后。
自2002年起，随着“台风”战斗机的服役，德国空军的F-4F开始陆续退役，原计划在2012年全部退役，后来推迟到2013年即该机服役40年之际。
德国空军最后一批F-4F退役之后，全球范围内仍在使用该型战斗机的国家还有埃及、希腊、伊朗、日本、韩国以及土耳其，仍然在役的战斗机数量为431架。此外，美国空军还装备有150架基于F-4改进来的QR-4型无人靶机。