这样一来，他们就和平地原来的主人-“土人”发生了矛盾。
在“土人”看来，这些“来人”不安分守己在老家呆着，跑到广西寻食，已是大大的不安分;既然来了，就该死心塌地蹲在山沟沟里，跟自己井水不犯河水，如今这些“外人”竟然仗着有几个臭钱，跑来跟土生土长的自己争农地、争宅子、争圩镇，甚至争坟地，实在是是可忍孰不可忍。一些“土人”绅士开始倡议“乡规民约”，禁止向“来人”出卖田宅，试图用这种方法限制客家人的发展。但毕竟没有不透风的墙，一些家道中落的“土人”禁不住高价诱惑，向客家人出售土地、房屋，这又常常激怒绅董、族长，引来“乡规民约”的处罚，甚至激起来土两族间的冲突。
“来人”和“土人”另一个容易生事的“热点”，是宗教。
俗话说“越俗好鬼”，华南一带的中国人自古就比较重信仰，吉凶祸福，大事小情，往往要寄托、乞求神灵，搬迁到广西的客家人除了传统的祖先崇拜，也同样希望得到各路神明的保佑。
但广西同样是个“神仙遍地”、巫术傩术十分流行的地方，桂中、桂东一带，在清代可谓杂庙遍地。然而这些五花八门的神明大多数是本土化的神仙，尽管他们中很多其实也是“来人”(如雷神本姓陈，是广东海康人;“盘王”则是中原传说中开天辟地的盘古)，“宗教解释权”却早已落到“土人”手中。为了不让“来人”落地生根，“土人”常常祭起“神仙术”，借助“神灵附体”等手段，将客家人理直气壮地排斥在本土神明崇拜体系之外，或者借机勒索大量捐赠，这些做法自然又常常成为来土冲突的导火索。在道光三十年的这次“来土之争”前，贺县也曾爆发过一次规模不小的来土械斗，起因正是庙会上来土两族“抢花灯”酿成的是非。
事实上，“粤东客家”进入桂中之初，来土两族间并没有过多激烈冲突，之所以愈演愈烈，一是人丁滋生，人多地少，在贫瘠的桂中很快造成直接利害冲突;二是鸦片战争后，大量广东失业游民、散兵游勇进入广西谋生，而战争赔款造成银价上升，赋税沉重，原本就紧绷的生存链条濒临断裂，加剧了来土两族的生存压力。1849年广西大旱，桂中许多地方颗粒无收，次年又爆发大规模疫情，令桂中民生雪上加霜，加上商路断绝，盗匪横行，为应付各地天地会暴动，官府又在正赋外增加捐税，“来人”和“土人”不得不为了生存，为了多争一口米粮，把钢刀挥向争食的“异类”。
