1938年10月日军占领湖熟，为了陶家齐的安全和有利于开展工作，新四军老四团团长张道庸(陶勇) 在一次攻打湖熟的战斗中，把陶家齐转移到句容县郭庄庙附近的汤巷陶家村。陶家齐虽远离湖熟，但他仍通过情报骨干和帮会关系在湖熟一带从事情报搜集工作。
1940年初夏，新四军在江宁地区打了一场着名的赤山战斗，这场战斗的胜利便与陶家齐及时送出的情报密不可分。
1940年5月13日，新四军第二支队副司令员廖海涛接到陶家齐发来的情报，内容是：“获悉由南京开到湖熟的侵略军南浦旅团岗本联队的一个加强中队，由其中队长吉田带领，妄图"围剿"三岔地区的军民，组织维持会，建立伪政权。”
廖海涛看罢情报，略作思考后，对部下说：我们要在赤山脚下打一场漂亮的伏击战。
赤山原名峰山，这里地形比较复杂，山虽不高，但谷峰交错，便于部队隐匿。赤山附近的群众抗日热情高，在这里伏击很有把握打败日军。但赤山距湖熟镇仅7.5公里，离南京城也只有35公里，日伪军经常在此出没，这是不利条件。廖海涛分析情况后，侦察员传来报告，日军次日要到三岔镇“扫荡”。来得正好!廖海涛决定亲自指挥这场伏击战，他派特务连和新四团一部去赤山附近的窦家边埋伏。第二天上午9时许，一队日军从湖熟据点出动沿着秦淮河堤向三岔镇方向前行。10时许，日军进入伏击区。随着一声令下，赤山四周顿时伏兵四起，这一仗打得日军措手不及。新四军毙敌130余人，除缴获了许多枪支弹药外，还缴获了一门九二步兵炮。这门九二步兵炮是江南新四军缴获的第一门大炮。对于打游击战的新四军来说，大炮不好运输是个累赘。于是只好把大炮拆卸了机件，转交给陶家齐让其设法处理。陶家齐当即派人把大炮拖到汤巷陶家村，秘密埋藏在自己家的院子里。
这场赤山战斗，大大鼓舞了江南军民的抗日信心，挫败了骄横跋扈的日军斗志。为此，廖海涛即兴赋诗一首《赤山大捷》 ：坚持江南抗敌军，日军惊乎胆寒心;赤山之战缴敌炮，茅山烽火震南京。
陈毅得悉此胜后，立即去电祝贺，同时指出要“警惕敌人进行报复”。果不出他所料，事后，日军调集大批日伪军前来“围剿”，但新四军已经安全转移。不甘心的日军四处张贴布告，悬赏追查大炮下落，又在赤山一带大肆搜捕。1941年1月春节晚上，慈山台伪自卫团团长徐茂龙亲自带人在汤巷把正在吃年夜饭的陶家齐和其侄儿抓走。几天后，陶家通过安清帮头目宋汉文的帮会关系把陶家齐保释出来，但那门九二步兵炮已被伪军挖走，向日军报功去了。因为此事，陶家齐心有不安，当时驻江宁的新四军十六旅代政委钟国楚安慰他说：拿去就拿去吧，这炮对我们已没有用处了，敌人拿去也不能用了。陶家齐这才释然。