东征期间，杨立三亲自去延水、延川、清涧、延长四县抓落实，如期完成了担架动员和渡河器材的准备，保证部队安全地渡河东征，并及时地把兵站线延伸向山西境内。1936年5月，在红军回师陕甘边区前，他又根据毛泽东、彭德怀的指示，亲自勘察河道，侦察敌情，在东岸敌人戒备森严的情况下，从无定河口放船下驶200余里，准确无误地到达清水关，接毛泽东、彭德怀及所率的东征红军西渡黄河，安全顺利地撤回陕甘边区。为此，杨立三受到毛泽东的专电嘉奖。对于杨立三在东征中的作用，彭德怀这样评价：“东征那时候，如果没有立三保障通道，我们可能背水一战!”
“杨立三同志是我们部队里面最有后勤工作经验的一位同志!”
1937年7月，全面抗战爆发，彭德怀随即担任八路军副总司令，率部北上抗日。这时，杨立三担任抗日军政大学校务部部长，并兼任中央军委总后方勤务部副部长(部长叶季壮)、八路军兵站部部长兼政委，在后方帮助运筹前线后勤大计。1939年4月，应朱德、彭德怀、左权的联名电请，杨立三奔赴晋东南抗日根据地，担任八路军后勤部长，正式主持八路军前方后勤事宜。在这一岗位上，他创造了令敌人都感到震惊的后勤奇迹。
在战场上武器自然是非常重要的。当时，八路军各兵工厂生产的步枪规格不同、性能各异、零件不能互换，且生产效率低、质量差、成本高。杨立三到职后，彭德怀指示他：首先抓步枪生产的标准化、制式化。杨立三从八路军常年山地作战的需要出发，召集八路军军工部部长刘鼎及技术人员反复研究，结合我抗日根据地设备、技术与物资供应条件，吸收国内外各种步枪的优点，提出了一种枪身短、刺刀长、重量轻、能与日军“三八式”步枪抗衡的新枪设计方案，并立即组织试制。1940年8月1日，当杨立三带着新枪样品向彭德怀汇报时，彭非常满意，亲自定名为“八一式”步马枪。仅1940年下半年，杨立三主持的后勤部门就生产了3300多支“八一式”步马枪，大大提高了八路军的火力。