岳飞按照宗泽生前的部署，率领毕进等部将，随同宗泽助手主管侍卫步军司公事闾勍，于建炎二年七月十五日进驻西京河南府，负责保护那里的北宋皇陵。八月，闾勍命岳飞再去汜水关御敌。岳飞又大胜来犯金军，以功转“从七品武功郎”，升至诸司副使的最高一阶。建炎二年岁末，岳飞奉东京留守司的命令离开闾勍返回开封。

岳飞返回开封后，杜充立即命令岳飞去消灭张用等部。张用是岳飞的汤阴同乡，曾当过汤阴的“弓手”，并和曹成、李宏、马友绍等是拜把兄弟，有几万兵力，王善部也从一旁保护。岳飞不愿自相残杀，以“兵寡不敌”为理由，婉言推辞，但杜充以军法问斩相威胁，勒令岳飞出兵。岳飞有以往擅自脱离王彦的教训，无法抗命，只能出战，以不到千人的部众击退张用、王善部，解了杜充之围，以功升“正七品诸司正使武经大夫”。接着，岳飞又奉命解救盗匪杜叔五、孙海包围的**县，活捉了两个匪首，升“转武略大夫”、借英州刺史。王善、张用退兵后，转攻淮宁府久攻不下，便引军离去。岳飞再去救援淮宁府，与王善军战于清河，俘虏孙胜、孙清等，因功双转升“转武德大夫”，真授英州刺史。

岳飞于建炎三年六月下旬刚回到开封，就接到杜充的命令要撤往建康府。岳飞苦劝：“中原地尺寸不可弃，今一举足，此地非我有，他日欲复取之，非数十万众不可。”但无用，又由于脱离王彦的教训不能违抗上级，只能随杜充南下。

金国由元帅左监军完颜昌领军进攻淮南，而由完颜宗弼领军直接进攻江南。完颜宗弼兵分两路，西路由完颜拔离速、完颜豰英、耶律马五率领，十月由黄州渡江屠洪州，劫掠长江中游的湖北、江西一带；东路则由完颜宗弼亲自率领，直捣赵构所在的临安。十一月，杜充的水军进攻割据一方的李成，金军支援李成掳获宋军大量船舰。完颜宗弼在攻打太平州（今安徽当涂县）的采石渡和慈湖不果后，转道建康西南的马家渡渡过长江进入江南。

杜充自己深居简出不做准备，岳飞泣谏：“勍虏大敌，近在淮南，睥睨长江，包藏不浅。卧薪之势，莫甚于此时，而相公乃终日宴居，不省兵事。万一敌人窥吾之怠，而举兵乘之，相公既不躬其事，能保诸将之用命乎？诸将既不用命，金陵失守，相公能复高枕于此乎？虽飞以孤军效命，亦无补于国家矣！”但也无济于事。听到金军渡江的消息后，杜充只派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王的一万三千人策应。十一月二十日，陈淬率军力战，岳飞率右军和金国汉军万夫长王伯龙部对阵，但王先临阵逃跑，陈淬战死，诸将皆溃，只有岳飞力战，整军退屯建康东北的钟山。

完颜宗弼占领建康府后，亲率主力追赶宋高宗。宋高宗从明州乘船经海上逃到温州避难。

完颜宗弼占领明州后，无法活捉逃到海上的宋高宗，劫掠一番决定撤兵。金军利用大运河，将劫掠所获用船运往北方，一路攻破秀州、平江府、常州，准备自镇江府北渡。三月，完颜宗弼被韩世忠所部八千余人在黄天荡拦截，被困四十日。因为有汉奸献策，金军掘通河道将船队经秦淮河引入建康城西的长江江面。韩世忠赶去攻击，却被金军的火箭击退。

岳飞在此间带领东京留守司军的残部转战广德军，六战皆捷，俘虏王权等伪军将领四十多名。驻军广德军的钟村，军粮用尽，将士忍饥，却不敢扰民。建炎四年初春，宜兴知县钱谌通知岳飞说县里的存粮够一万人吃十年，欢迎他率军保护县境。二月，岳飞进驻宜兴，屯于张渚镇。在宜兴，岳飞收降了因政局混乱而在当地为匪的多支部队以及金军强征来的河北伪军。岳飞自己就是河北人，平等对待河北、河东等地的签军。伪军们都传话说：“此岳爷爷军。”争来降附。

三月，金军在劫掠秀州和平江府之后，攻向常州。常州知州周杞探知这一情况，派赵九龄到宜兴县请岳飞前来镇守常州。但在岳飞启程之前，周杞已经紧随赵九龄也来到了宜兴县，放弃了常州城。岳飞与周杞、赵九龄一起带兵北进，前后四战，夺回常州。又尾随追袭于镇江府东边，再捷。此时，原杜充手下的统制、现已成为割据一方的盗匪的戚方攻陷了广德军，岳飞忙赶回宜兴县，带一千多骑兵赴广德军，但戚方已西去攻打宣州。

宋高京已从海上逃回越州，任命张俊为浙西路江东路制置使，“诸将并受节度”要收复建康。张俊自己的部队是宋高宗原来的河北兵马大元帅府的嫡系部队，他只派岳飞统率的原宗泽、杜充的东京留守司的非嫡系部队当前锋去攻打金兵镇守的建康府。四月二十五日，岳飞在位于建康城南三十里的清水亭首战大捷，金兵横尸十五