建炎三年十月，金军完颜宗弼部南犯，宋高宗离杭州逃向越州(今绍兴);十一月，宋高宗逃向明州(今宁波)，张俊任浙东制置使扈从。金帅宗弼占领杭州后，派斜卯阿里、乌延蒲卢浑率金军4000追击，当年除夕追至明州城下，金军自高桥镇攻西门，张俊部将刘宝，以及杨存中、田师中所部等抗击金军，知州刘洪道亦率州兵助战，金军战败，死伤以千计。建炎四年正月初二，金军又攻明州，张俊与知州“刘洪道坐城楼上，遣兵掩击，杀伤大当，敌奔北坠田间或坠水，俊急令收兵，夜，敌拔寨去，屯余姚”，宗弼派援军赶赴余姚再攻明州，张俊抗击于高桥，推托以高宗令其扈从，逃往台州(今临海)，刘洪道等也退出明州，明州遂为金军占领。南宋则将明州的“小捷”，列为“十三处战功”之首，因“自金兵入中原，将帅皆望风奔溃，未尝有敢抗之者”，“中兴战功自明州一捷始”，“至此而(宋)军势稍张矣”。
建炎四年四月，张俊改任浙西、江东制置使以招收江浙地区的“群盗”，除刘光世、韩世忠两军外，其他诸将皆受张俊节度，成为当时最主要的将领。六月，宋朝改御前军为神武军，张俊改任神武右军都统制，领定江、昭庆二镇节度使。绍兴元年(1131)后，张俊讨伐马进、李成有功，进太尉。以后历任浙西江东宣抚使、淮西宣抚使。绍兴六年十月，伪齐发兵30万大举侵宋，受张俊节制的杨沂中军与伪齐主力刘猊激战于藕塘(今安徽定远东南)，伪齐军战败，张俊所部张宗颜等生力军赶至，两军遂共奋击，伪齐军大败，张俊又率主力到达，追击伪齐军，与杨沂中军一直追击至寿春(今寿县)，这就是列入“中兴十三处战功”的“藕塘之战”，张俊以功进领镇洮、崇信、奉宁军三镇节度使。
绍兴五年十二月，改神武军等为行营护军，张俊所部改称行营中护军。张俊与韩世忠所部为南宋两支最重要的军队，宋高宗比喻为左右手。绍兴七年，左护军副都统制郦琼率4万人叛降伪齐。次年，原刘光世部主力、左护军都统制王德所部2万人，归属于淮西宣抚使张俊。
绍兴八年，宋金首次议和，金将原伪齐辖区划归南宋，南宋成为金属国，张俊加少傅及安民靖难功臣号。次年，金毁约南犯，张俊兼任河南、河北诸路招讨使。金军主力宗弼围攻顺昌府战败，张俊军也渡淮北上，一度攻占亳州(今亳县)。奸相秦桧令诸将退兵以便乞和，张俊首先退回淮南。
绍兴十一年春，金为迫使南宋屈服，出兵南犯，刘锜、杨沂中等出援淮西，刘锜先到柘皋(今巢湖西北)，列阵以待，杨沂中、王德等军相继到达与10万金军决战，宋军奋勇争先，金军大败而退。柘槔之战被列“中兴十三处战功”之一，绍兴十一年二月，“淮西宣抚使张俊、淮北宣抚使杨沂中、宣抚判官刘锜，大败乌珠(宗弼)十万众于柘皋”。张俊未直接参战，因王德为张俊部将，故只列张俊而未列王德。同年四月，以赏柘皋之功为名，张俊与韩世忠升枢密使、岳飞升枢密副使。张俊知道宋高宗、秦桧想收兵权，遂首请纳宣抚司兵权，宋高宗、秦桧乘势罢三宣抚司，也收韩世忠、岳飞兵权。张俊协助秦桧推行乞和政策，又与秦桧合谋制造岳飞谋反的冤狱。绍兴十二年十一月，张俊罢枢密使，封清河郡王。绍兴二十六年(1156)死，终年69岁，追封循王。葬于湖州府长城县(今浙江省湖州市长兴县)。