1926年夏，国共合作的北伐战争声势席卷全国。杨立三从中看到了穷人的希望，便在家乡积极组织农民协会，担任过国民党长沙县第五区监察委员、长沙县第十四区农民协会委员长。在当地农民运动讲习所学习期间，他有幸聆听了毛泽东宣讲革命真理，逐步接受了共产主义思想：“只有共产党，才能救中国!只有共产党，才能拯救处于水深火热中的劳苦大众!”1927年1月，他加入了中国共产党。7月初，他奉命带领一批农运积极分子到武昌投军，在国民革命军第二方面军总指挥部警卫团担任排长。
1927年7月15日，武汉汪精卫政府叛变，国共合作的大革命彻底失败，共产党人决定发动土地革命，武装反抗国民党反动派。9月9日，杨立三随警卫团参加了毛泽东亲自领导的秋收起义，担任“工农革命军第一军第一师”(不久改称“中国工农红军第一师”)副官兼经理处处长，负责起义军后勤事宜。起义发动前夕，根据中共前敌委员会书记毛泽东的指示，他和师部参谋何长工在江西设计并制作了“工农革命军第一军第一师”军旗和臂章，是为人民军队第一面战旗。
1927年9月，在三湾改编会议上，毛泽东大声宣布：“杨立三同志担任第一团副官长!‘兵马未动，粮草先行’。立三同志，我们吃饭靠你啰!”在毛泽东的亲自领导下，杨立三参与了新型人民军队后勤的创建工作，内容包括废除薪饷制、实行官兵待遇平等和经济民主制度、打土豪筹款子、建立根据地财政工作、开展红军后勤建设等方方面面的工作。
在欢迎彭德怀的会师大会上，毛泽东把杨立三介绍给彭德怀：“这位是杨立三同志。他是从省城(长沙)上山的，是我们的‘粮草官’!”
面对在平江掀起革命狂澜的彭德怀，杨立三非常仰慕，一个劲地说：“久仰大名!久仰大名!”
还没有等双方进一步熟悉，战争形势就迫使他们各自为战：面对敌人大举“进剿”，彭德怀临危受命留守井冈山，担负钳制湘赣敌军的艰巨任务，杨立三则随朱德、毛泽东出击赣南。