广西本土的天地会始于嘉庆十五年(1810年)的邕宁县，会首沈惠平等用的口号、会规，都是广东传来的旧抄本，可以说，即使本土天地会，最初也源自广东。但天长日久，广西天地会逐渐形成了自己的特点，一是本土化，秘密化，往往“匪徒”、团练不分，表面是绅士、练总，实际是天地会首领;二是堂口化，即以“堂”为半公开的组织形式，和同样以“堂”为名号的当地某些宗族武装难以区分，因此被官方称为“堂匪”。相对于“广马”，“堂匪”的生存能力更强，但战斗力则弱得多。
本来“堂匪”和“广马”都是天地会一家，彼此也有不少合作，如“艇匪”中就曾有“土马”李关保(广西桂平旧峡村人)，而“土马”陈亚贵(壮族，武宣东乡下平岭村人)转战广西各地时，也曾得到秦晚等“广马”的响应。但随着邻境纷纷加强对天地会的镇压，广东、湖南、贵州的天地会纷纷大举涌入广西，不少“堂匪”的“洪门兄弟情”，就被“保卫桑梓”的本土情结所压倒，许多“堂”在来土械斗中从中立观望，最终变成加入“土人”阵营，和“来人”及其客家人同胞“广马”兄弟阋墙。
“堂匪”是土著，拖家带口，行动未免迟缓，且战斗力本就不如“广马”，这就出现了《太平天国起义记》所言，“土人”即使纠合“匪徒”，初战也失利的现象。
但随着“堂匪”逐渐聚集，人数上的优势开始发挥作用，最终战斗力强悍但人数稀少的“广马”无力庇护族人，和“来人”一起战败，“广马”在广西的盛况也就此告一段落，直到咸丰五年(1855年)，围攻广州城失败的“红军”李文茂、陈开等部退入广西，在浔州府等地建立“大成国”，他们才再次崛起。
失败的“广马”去哪里了?金田起义前后，有不少天地会众加入太平军，如罗亚旺、范连得、苏三娘、卞三娘、杨元清等，也有不少投降了清军，或先入太平军后投清军，如张钊、田芳、关志等，虽然记载中并未提及他们是否曾参加贵县来土之争，但可由此推定，那些在来土之争中战败的“广马”既回不了广东，在广西也无立锥之地，恐怕也不外上面两条路可走。