在修筑铁路问题上，张作霖也被迫试图安抚和支持彼此水火不相容的双方。当他劝说日本相信他赞同扩展由日本经营和由日本人提供经费的铁路网计划时，他正在雄心勃勃地制定只用本国资本修筑以对抗南满铁路的计划。在具体线路交涉中，张作霖最伤脑筋的铁路线是吉(林)会(宁)铁路。对日本来说，该路有双倍的重要性，在会宁可以把朝鲜铁路网与吉林和长春连通起来，再转而进入黑龙江，日本指望吉会路像南满铁路在南满那样将北满的地区经济与日本和殖民地朝鲜经济联成一线。同时，日本陆军认为它是进攻苏联的最理想路线，日本海军认为，万一将来与美国发生冲突，该路可迅速地向日本供应粮食和其他战略资源。该路是中日两国重大争端之一。虽然张作霖向日本多次表示不反对日本向北满扩张以排挤苏俄的计划，然而，他多次明确指令吉林地方当局在谈判中一定设法拖延和搪塞，致使该路直到伪满洲国成立后才修成。
1923年初，吉林省民众掀起反对“日支合办天图铁路”的抗议斗争，沿线居民拒绝搬迁和出售铁路用地。张作霖表面上虽答应日本的要求，可暗中密电吉林省长：“允许日人铺设的天图铁路所用民地，本人亦不愿其为日人所占用而转让之。若沿线居民不肯转让其土地，可以适当之借口，阻止和拖延日人的铺设计划。”
1925年郭松龄倒戈，日本趁张作霖统治垂危，向张提出了内容基本与“二十一条”中有关东北问题相同的密约：“(1)日本臣民在东三省和东部内蒙古，均享有商租权，即与当地居民一样有居住和经营工商业权利;(2)间岛地区行政权的移让;(3)吉敦铁路的延长，并与图们江以东的朝鲜铁路接轨和联运;(4)洮昌道所属各线均准许日本开设领事馆;(5)以上四项的详细实施办法，另由日中外交机关共同协商决定”。为了渡过危机，张答应了日本的要求，但事后日本要求签属正约时他拒绝了。并为自己签订草约一事开脱和辩解，且忿忿不平地谈及了拒签正约的理由。关于商租权问题，张对其下属说道，他原以为“让日本人在那里租一点土地做买卖那有什么关系!他妈的，谁想到那就是杂居权!”关于间岛问题，张说：“吉林省延吉县一带居民都是朝鲜人，土匪很多……让日本人在珲春、和龙及汪清各县，派驻些警察、宪兵，还可以帮助我们维护地方治安呢，所以就答应了，哪知道，这就是把咱们的地方行政权让给他们了!总而言之，日本人没安好下水(心肠)，全是骗人。”“咱们绝对不能承认日本'二十一条'要求以内事项，以免让东三省父老骂我张作霖是卖国贼。”张作霖密令省议会，反对签订密约。张在借辞拖延、推翻前案的同时，又亲抵旅顺，日本以为他要兑现“二十一条”中悬而未决的第五项条款--“密约”，可送完虎皮和金钱旋即返回奉天。他对其左右说：“我张作霖受日本人的好处，只有拿出我自己的财物报答他。我将日本银行的存款，全数赠送，表示我的全心全力，日本人如果另有要求，只要是张作霖个人所有，我决不吝啬，但国家的权利，中国人共有的财产，我不敢随便慷他人之慨，我是东北的当家人，我得替中国人保护这份财产，不负他们的所托!”
