谅山正面，只有一条经同登向南至谅山的公路，周围则尽是山地丛林。越军第3师将主要兵力摆在了谅山外围的各个山头高地上，俯瞰公路，形成密集的交叉火力。若我军机械化兵力通过公路经达谅山，越军凭险据守，张网以待，会给我猛烈击，越军正是打着我军自投罗网的如意算盘。
我军要攻克谅山必须另出高招，让越军的希望破灭。
2月27日清晨，谅山战役开始。东集团军首先进行10分钟的火力急袭，然后兵分三路，以一六三师四八七团猛攻扣马山，四八八团进攻四一七高地;一六四师四九一团直取巴外山。当时整个谅山周围大雾弥漫，天上又下着细雨，能见度很差。
我军在坦克引导下发起冲锋，步兵跟着坦克逐次跃进，不断向纵深插入。越军集中“冰雹”火箭弹和高射机枪进行火力打击，关键时刻，我军炮兵进行了纵深炮击，以密集弹着点开辟进攻道路，同时发射大量燃烧弹，为茫茫雨雾中的坦克指示攻击目标。进攻部队也改变了打法，将密集队形组成不同梯队，以营为单位，采用班、排疏散队形，交替掩护，多路攻击。炮兵观察所紧随步兵前进，随时为炮兵提供射击坐标，呼唤炮火支援。步兵每攻下一个制高点，便发射信号弹，炮兵部队则立即进行向上200米火力突击，将越军的下一个火力点置于火网之下。然后，步兵再发起冲击。这样，我军像梳头一样密集推进，拔点攻击，一个个打掉了越军的火力点。
激战至2月28日，谅山外围防御要点基本被全部扫清。我军队从东、北、西三面直逼谅山市区。越军统帅部举棋不定，既没有使用预备队增援谅山守军，也没有下令三师撤退。越军迟迟没有调动预备队进行反攻，仅靠谅山孤城的守军是无论如何挡不住我军进攻脚步了。然而谅山又太重要了，失了谅山，越南首都河内就将直接面临兵锋之下。因此，“金星3师”只有负隅顽抗孤注一掷，在此作最后一搏，实现其豪言壮语与谅山共存亡了。
攻打谅山之前，许世友指示军区司令部：告诉东集团再接再厉，坚决夺取谅山市。
他特别指出，谅山是越南首都河内的北大门，非常重要，是要塞性质，工事坚固，又有山洞。要先用炮火突然猛烈地轰击市区，把军事建筑彻底摧毁，打出国威，打出军威。
他决定打谅山依然用打同登的办法，集中猛烈炮火摧毁敌人的各种设施，大量杀伤敌人的有生力量，而后再用坦克、步兵突击。
3月1日上午9时30分，许世友一声令下，东集团集中军直炮团、163、164、165师炮团、炮26团合计二十多个营的300余门火炮猛烈轰击谅山，急袭30分钟发射炮弹一万余发。地动山摇，房倒楼塌!谅山市顷刻间变成一片火海。 刚刚盖起的越军营房顿时化为平地、城内坚固的军事目标被摧毁、弹药仓库连续暴炸，变电所、邮电大楼、公安厅等建筑被打得千疮百孔，整个供电系统被摧毁，联系河内的通讯中断。
号称王牌的越三师用无线电明话向河内呼叫：“敌人从上午8时30分(河内时间比北京时间早一个小时)开始炮击，火力非常厉害，简直不可想象，炮声隆隆，从未见过这样猛烈的炮火，炮弹一直不停地轰，数不清有多少发，所有的道路都被他们封锁了，我们简直无法抵挡，要撤退只有爬山。”
随着最后一发炮弹落地，五十五军兵分数路，以一六三师为主攻，其四八九团主力沿铁路向谅山奇穷河大桥实施主要突击，一部兵力沿铁路西侧展开向谅山北市区攻击;四八八团沿279高地向奇穷河大桥攻击前进，协同四八九团歼灭铁路以东、谅山以北地区之敌。一六四师和一六五师则紧靠一六三师左右两翼协同进攻。越军3师依托防卫阵地节节抵抗，猛烈程度堪称空前。
