接着，隆美尔挥军乘胜追击，不到10天，前进500多公里，直抵埃及境内的阿拉曼。然而隆美尔部队过长的战线增加了供给困难，他的疲劳至极的部队也失去了攻势，不得不暂停进攻。而英国人则加强了其在北非的兵力，大量的美国新式重型坦克也源源而来，从而使中东英军的面貌焕然一新。与此同时，隆美尔自昔兰尼加会战大胜以来几乎没得到什么补充。1942年10月23日，英第8集团军新司令官蒙哥马利向隆美尔发起代号为“轻步”的进攻。隆美尔很清楚自己所面临的不利形势。他弹药缺乏，坦克和车辆所剩的燃油也不多了。如果他的部队坚守在原地，一但英军突破防线，就会形成包围态势，德军必将彻底覆灭。因此，隆美尔不顾希特勒的死守命令，断然下令撤退。此时的隆美尔手中既无预备队，又缺乏燃料。然而，蒙哥马利没能及时察觉隆美尔的撤退行动，察觉后又用兵过于谨慎，没有抓住最有利的追击时机，使隆美尔的溃退之军摆脱了被全歼的恶运。11月9日，隆美尔终于带着德非洲军的部分部队撤出埃及，退回到利比亚境内。
1943年11月，隆美尔出任B集团群军司令并奉命加强“大西洋壁垒”防御工事，他一再强调“必须在海岸击败敌人”的论点。在隆美尔的推动下，“大西洋壁垒”在短短的几个月内已全貌改观。在他认为可能登陆的任一滩头，架起了粗糙的登陆障碍物，另外在数千公里的海岸线埋设了500万枚地雷。在空旷地立尖杵使滑翔机无法着陆。尽管“大西洋壁垒”工事做得很完善，敌军仍可能夹带强势兵力与物资抢滩登陆，因此隆美尔主张把装甲部队部署于海岸不远处。以免盟军的空中力量切断预备队与战场的联系。但以西线统帅伦斯德为首的多数高级军官，认为把装甲部队分散来防御海岸，不但无法做强大反击，也失去了机动性，所以计划将装甲师做纵深部署，待判定敌军主攻位置后再展开攻击。由于双方争论不休，希特勒做了一个致命性的折衷决定，将装甲师分散于海岸，但仍距海岸有一段距离，却造成了战略战术装甲预备队不足。
