但是，元军已经锐不可当。不久，建康、太平(今安徽当涂)、和州(今安徽和县)等地相继投降元朝。至元十二年(公元1275年)三月，元军元帅伯颜率军进入建康。此后，镇江、常州、平江府(今苏州)等地先后投降元朝，临安危在旦夕，南宋朝廷官员纷纷外逃。
至元十二年(公元1275年)四月，元军开始攻打扬州，宋军守将李庭芝、姜才坚守阵地，不愿投降。元世祖下令中书省商议，设立“登闻鼓”，让那些有亲人被杀无处倾诉的人击鼓鸣冤;但同时也规定，老百姓鲁莽击鼓，将受到法律的惩处。二十日，宋朝度支部尚书吴浚寄书信给建康府徐脱里荣等人，陈述了宋朝丞相陈宜中的意思，请求与元军停止战斗，互相通好。但是，元军元帅伯颜派遣中书议事官张羽、淮西行枢密院令史脱里章与宋朝的来使马驭一起，带着徐脱里荣的回信到达平江府的驿亭时，被宋军杀死。
七月，张世杰率领水军与元军大战于镇江焦山一带。大战从上午九点一直持续到中午，呼声惊天动地。元军趁着风势用火箭攻击宋军的战船。宋军战船着火，大败。张世杰、孙虎臣等人率军逃走。不久，元世祖下令任命伯颜为中书右丞相，阿术为中书左丞相。
八月，伯颜辞别元世祖向南进发，奉诏书告谕宋朝的君臣，如果他们能够主动归顺的话，赵氏家族和其部下都可以高枕无忧，祭祀宗庙也一如从前。
九月，宋朝扬州都统姜才统领步兵，骑兵共一万五千人攻入湾头堡，元军在阿术的率领下迅速打败了他们。同时，贾似道被贬谪到循州(今广东龙川)，当他走到漳州时被杀害。
至元十三年(公元1276年)正月，宋朝臣子陈宜中、张世杰、苏刘义、刘师勇等人带领益脱里、广脱里从嘉会门逃出。同月，宋朝皇帝交出玉玺，向元军投降。伯颜下令，士兵不允许进入临安城，否则按军法处置。伯颜的命令得到了南宋临安居民的拥护。
二月，伯颜押解南宋恭帝赵显、太后和宋朝官吏前往元朝都城。元世祖亲自赶往上都迎接。临安城破，南宋自此灭亡。此后，元军于至元十五年(公元1278年)十二月打败了南宋著名抗元将领文天祥。
至元十六年(公元1279年)四月，张世杰在同年二月幼帝投海死亡后退至海陵山(今广东阳江县南海中)，遇风船沉，溺水而死。至此，南宋残余势力完全被元消灭，元朝实现了全国的统一。
三、实行汉法
忽必烈是一个很有抱负的人，在他即位之前就非常关心国家的治理方略。由于在成吉思汗统治时期，蒙古便已经在耶律楚材的影响下实行汉法，因此，到忽必烈时，蒙古已经有了深刻的汉文化影响。在忽必烈周围，聚集了一大批懂得治世之道的学者文人。忽必烈经常与他们交流，并很倾慕唐太宗的业绩。他身边的谋士也积极支持忽必烈的励精图治、谋求革新的做法，并为他献计献策。
1258年，谋士郝经向忽必烈进言说，应该息师抚民，创法立制，选贤任能，减轻赋税，屯田垦殖。这些积极的改革主张虽然未能立即实行，但是，对元世祖后来的改革起了很大的作用。
1260年，忽必烈即位。他向僧人子聪询问治理天下的原则。子聪参考祖宗旧典，借鉴古代典制，制定了各种制度。
