不久，彭德怀和左权接到报告，日军数千名援军离关家垴越来越近了。如果敌人援兵一到，八路军的处境将更加不利。于是，彭德怀下令：必须在16时向敌人发起总攻，务必全歼冈崎大队。同时，彭德怀决定将负责保卫八路军总部首长安全的特务团警卫连也投入战斗。左权则向即将出征的警卫连作了战斗动员：“关家垴战斗已到了最关键的时刻了，不能让敌人死守待援。养兵千日，用兵一时，你们要以勇不可当的精神冲上去，与兄弟部队一起迅速解决战斗。”警卫连连长唐万成率领全连战士领命而去。
16时整，随着彭德怀一声令下，总部炮兵阵地上的迫击炮连续向关家垴轰去。不一会儿，冲锋号响了，八路军参战各部再次向柳树垴和关家垴之敌发起了攻击。此时，七六九团已成功地挖通了通往关家垴山顶的暗道。发起冲锋后，七六九团再次组织火力对日军进行猛攻，同时派出突击部队攀登上陡崖，其中的一部分从暗道里向关家垴山顶爬去，一部分隐蔽在壕坎下面。关家垴山顶的日军以为八路军又要从斜坡往上攻，正全神贯注地盯着前面的斜坡，没想到屁股后面突然冒出了八路军。一阵手榴弹响过之后，关家垴山顶阵地上的日军顿时陷入混乱之中。隐蔽在壕坎下的七六九团突击部队则趁势迅速冲了上去。双方随即在关家垴山顶展开激战。此后，七六九团后续部队不断攻上关家垴山顶，加入战斗，并最终控制了关家垴的制高点。同时，七七二团和决死第一纵队二十五团、三十六团等部也先后攻上关家垴。经过激烈的肉搏，日军大部被歼，残敌则退到了半山腰村子里的窑洞中，负隅顽抗。
随后，攻上关家垴的八路军各部对据守窑洞的日军继续进行攻击。残敌则依托工事，拼死抵抗，火力仍然很猛。由于八路军缺少重型武器，围歼残敌的战斗进行得也比较缓慢。直至深夜，仍有数十名日军据守在窑洞中，未被歼灭。柳树垴上也有一小股残余日军未被歼灭。
11月1日，日军1500多人的增援部队，在10余架飞机的掩护下逼近关家垴。鉴于关家垴被围之敌已基本被歼灭，来援之敌又过多，不便同日军再战。为保持主动，彭德怀与左权命令部队停止攻击，撤出战斗。残敌60余人则在援敌接应下仓皇逃走。
随着对百团大战认识的深入，大家提出了不同意见
此次战斗，八路军以绝对优势兵力围攻日军一个大队，激战两昼夜，未能全歼敌人，个中有许多教训值得总结。
几天后，彭德怀、左权、刘伯承、邓小平、陈赓等人一齐登上关家垴，仔细查看了日军的临时工事、暗堡掩体、火力配置。随行的参谋人员也将敌人的阵地一一绘制成图。刘伯承看到日军挖的众多“猫耳洞”，人躲藏在里面非常安全，很受启发。他说：别小看这小小的招式，非常实用，凭我们现有的武器还真难对付。日军善于利用地形、善于构筑工事、合理配置火力的实例，使身经百战的八路军将领很受启发。
关家垴之战，八路军以劣势装备对武器精良的日军实行攻坚战、阵地战，共歼灭冈崎大队400多人，大队长冈崎歉受也被打死。这次战斗，沉重打击了日军的嚣张气焰，使其受到巨大震撼，从而基本上结束了日军一个大队可以在抗日根据地内横冲直撞的局面，日军的小股部队再也不敢轻易出动。陈赓说：“这次胜利告诉敌人，太行山并不是无人之境，可以由他大摇大摆、横冲直撞的。”不过，八路军在这次作战中也付出了相当大的代价，共伤亡600余人。这也是此次战斗引起争议的主要原因之一。
