1931年11月，中华苏维埃第一次全国代表大会在瑞金召开，彭德怀当选为红色政权中央革命军事委员会(中革军委)副主席、中共第六届候补中央委员;这时，杨立三也成为红军后勤方面的行家里手。次年春，红军进军福建漳州后，杨立三调任中革军委后方办事处主任兼总兵站部部长、政委，负责领导中央苏区所有后方军事机关、医院和工厂的工作。“这个工作在我们还没有取得全国政权之前，其任务的繁重，客观条件的困难，是一般没有参加过当时斗争的人所难以想象的。在农村的落后条件下，在不稳定的、没有后方的战斗情况中，全靠军队自行筹粮、筹款，自己建立小型的被服厂、制药厂、兵工厂，依靠人力和畜力组织长途的前运后送，一手做地方居民工作，一手做直接支援战争的工作，这是一件十分繁重而困难的任务。”这一时期，杨立三建立了大站、中站、小站相连接的兵站运输线，有力地保证了红军各次进攻战役和反“围剿”战役的人、财、物运输和供应，表现出卓越的后勤工作领导才能。对于杨立三的功劳，彭德怀是如此评价的：“我们长期以来是‘小米加步枪’!米是立三同志组织筹措的，步枪是立三同志组织制造的。”
“东征那时候，如果没有立三保障通道，我们可能背水一战!”
1934年10月至1935年10月，中央红军长征途中，彭德怀指挥红三军团作为开路先锋，“以挡我者死的锐气”连续突破敌军设置的第一道、第二道、第三道封锁线。着名的湘江战役，彭德怀再现神威：11月27日至30日，他指挥红三军团于湘江、灌江之间的新圩阻击桂军进攻后，在渡江点界首南光华铺血战3昼夜，付出了巨大代价，完成了阻击任务，突破第四道封锁线。在敌重兵天罗地网中，他硬是撕开了一道口子。消息传来，杨立三感叹：“比起彭老总，关云长过五关、斩六将相形见绌!”这一时期，杨立三历任总兵站部部长、中革军委保管处处长、粮秣队队长、总医院院长、陕甘支队(1935年9月成立，司令员彭德怀，政委毛泽东)后方办事处主任等职，为解决中央红军的人、财、物供应朝夕奔忙，彭德怀曾言：“没有吃的，唯立三是问!”过草地时，周恩来刚刚大病脱险，走不了路，彭德怀决定组织担架队抬他过草地。杨立三深知，保证周恩来的绝对安全，是中国革命全局的需要，也要求参加担架队。彭德怀拗不过他，最后下令：“好吧，你负责!找副好担架，找几个可靠的人!”整整六天六夜，杨立三寸步没离周恩来，双肩都磨破了，硬是安全地把周恩来抬出了这片“死亡之地”。刚走出草地，杨立三自己便累病了。对于这次救命之恩，周恩来念念不忘，杨立三则说：“这个宝贵机会，是彭老总给的。”