1931年，红四方面军总指挥部靠前指挥攻打黄安城。刚刚担任红四方面军总部警卫团手枪营二连连长的秦基伟，眼看其他部队在前线打得热火朝天，可自己的部队却背着枪提着大刀奉命守护总部，情急之下，竟一脚踹开了营长的门，连连请战：“这个岗老子不站了，老子的连队要打仗!”营长拗不过他，便答应了，但条件是：“打仗可以，连队留下，枪也留下。”希望秦基伟知难而退。谁知，秦基伟一腔热血，竟提着大刀只身冲上前线，用大刀砍死了好几个敌人。事后，营长拍着秦基伟的肩膀说：“不错，以后就封你为秦大刀!”从此，“秦大刀”的威名在红军中传开。
抗战爆发后，秦基伟受命前往山西太谷一带组织抗日武装，不到一个月就组织了300余名各界爱国青年。当时，秦基伟亲率“大刀队”攻下太谷县城，夺步枪17支，打出了“太谷抗日游击队”的旗号。
1937年11月，八路军129师独立支队成立，对外称“秦赖支队”，秦基伟任司令员，赖传珠任政委。此时，日军占领了太原，对附近地区不断扫荡，烧杀抢掠、无恶不作。噩耗一个接着一个传来，秦基伟怒火中烧：“太行山下八路军秦赖支队早已家喻户晓，岂容日寇放肆!”然而日军势大，拥有精良装备的国民党军尚且挡不住鬼子的进攻，所以秦基伟决定：“打!但要智取。”于是，秦基伟严令参谋处、敌工站和各县区游击队负责人，务必尽快掌握为日本人带路的罪大恶极的汉奸帮凶以及日军零散分队的行踪。一切准备就绪后，1938年4月2日晚上，秦基伟亲率“大刀队”，配合十个县的军民行动，一夜间斩首100多个罪大恶极的汉奸，所有被杀汉奸尸体上均贴标语，“凡给日军通风报信带路者均同此下场!”随后，在秦基伟辖区内，70余个日伪据点均遭袭击，260多名汉奸被杀，鬼子也死伤惨重。如此一来，敌占区被搅得一片恐慌，鬼子汉奸被吓破了胆，再也不敢出门了。
