秦攻灭楚国以后，对于过去臣服于楚国、由当地氏族首领和部落君长们自治的广大百越地区，开始实行军事攻击。在军事占领后，比照郡县实行直接统治。当时的所谓百越，是广泛分布于长江以南直到东南亚的古越族。分布于今浙江绍兴一带者，称为于越;分布于今温州一带者，称为东越;分布于今福建福州一带者，称为闽越;分布于今广东及其以南者，称为南越;分布于今广西及其以南者，称为骆越(又称西瓯)。
秦始皇二十六年，秦将王翦挟灭楚之余威，渡江攻灭于越，设置会稽郡，开秦用兵百越之端绪，军威逼近东越和闽越。同时，王翦军别部由湖南、江西方向灭楚南下，军锋已经抵达楚越交界的岭南地区，与南越和骆越有所冲突。
秦帝国第一次全面攻击越人的军事行动，大约开始于秦始皇三十年。当时，秦始皇任命屠睢为大将，统领数十万大军南进。屠睢军从三个方向，兵分五路，西南方向两路进军，分别走今越城岭(今广西资源和兴安县间)和今萌渚岭(今湖南江华)，攻击骆越;中南方向兵分两路，分别走今骑田岭(今湖南宜章和郴州间)和今大庾岭(今江西大余与广东南雄间)，攻击南越;东南方向一路，走今江西余干南之信江，攻击东越和闽越。东南方面军顺利进军，攻灭东越和闽越，设置闽中郡，实现了秦的直接统治。中南方面军和西南方面军遭到南越和骆越的顽强抵抗，屠睢战死，大量秦军阵亡，秦军深陷于越人游击战的泥沼中达三年之久，无法完成对南越和骆越的占领。
秦始皇三十三年，始皇帝任命任嚣为大将，开始第二次大规模对越军事进攻。这次军事行动，增兵移民超过五十万人，将大量人力、物力、财力源源不断地投入南越和骆越战场，终于攻占了岭南地区，在骆越地区设置了桂林郡，在南越地区设置了南海郡和象郡，长期屯驻军队，实现了对百越的直接统治。秦帝国屯驻岭南的军队及其辅助人员，数量以五十万计，称为南部军，先后由屠睢、任嚣和赵陀统领，大本营设在番禹，就是今天的广州。
