克复襄汉后，岳飞面临的是新恢复的中原地区的后勤防务问题，这是以后直到金哀宗时金国被灭中原被克复后都一直困扰宋军的问题。这些地方因为“久罹兵火”，原来的居民“或被驱虏，或遭杀戮，甚为荒残”，以至于“百里绝人，荆榛塞路，虎狼交迹”，“野无耕农，市无贩商，城郭隳废，邑屋荡尽，而粮饷难于运漕”。凡是这样克复失地的宋军，都有一个两难的防务问题：“若少留将兵，恐复为贼有”；“若多留将兵，唯俟朝廷千里馈粮，徒成自困，终莫能守”。

因为后勤的问题，岳飞只能将主力撤回，留少量兵力戍守。张旦被任命为唐州邓州郢州襄阳府安抚使、兼襄阳知府，牛皋为安抚副使，李道任唐州邓州郢州襄阳府四州都统制，配置军士两千人，守卫襄阳府；周识和李旦率一百五十名军士守郢州；孙翚和蒋廷俊率两百名军士守随州；舒继明和訾谐守信阳军；戍守襄阳府的两千人中分拨出来一部分，由高青和单藻带领守唐州，由张应、党尚友和邵俅带领守邓州。这些官员在收复的防区内整治防务，恢复生产。伪齐刘豫李成的军队虽然不时骚扰，却始终不能夺回襄汉六郡的控制权。

襄汉六郡原来分属京西南路和京西北路，这次收复之后，宋廷为统一管理，单设襄阳府路。除在襄阳府设安抚使司外，不按制度设置“差监司”、即转运使司等文人监军系统，“止委制置使岳飞措置”。这是战时对宋朝历来的文人控制武将军队的反动，对提高军队的战斗力有一定的影响。

此时岳飞作为武将不敢居功，上奏说自己“人微望轻，难任斯职”，要辞去制置使并请求宋廷另“委任重臣，经画荆、襄”。宰相赵鼎认为：“湖北鄂、岳，最为沿江上流控扼要害之所，乞令飞鄂、岳州屯驻。不惟淮西藉其声援，可保无虞，而湖南、二广、江、浙亦获安妥。”宋高宗同意赵鼎的主张，确定岳飞改驻荆湖北路的首府鄂州，自此岳家军的大本营就定在了鄂州。

绍兴五年，岳家军的规模从三万多人的规模增加到十万人左右的规模。这是因为杨幺军的壮丁五、六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部，和此后增拨的统领丘赟所部；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部；以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。岳家军以后也大体维持十万左右这个数量直到岳飞被宋高宗和秦桧所害。

绍兴五年年，由于岳家军的兵力变成了原来的三倍，岳家军也从原先十将的编制扩充至三十将的编制，每将的平均兵力是三千多人。到绍兴九年岳家军增至八十四将，每将的平均兵力减至一千二百余人。

岳家军至少有十二统制“军”：背嵬军；前军；右军；中军；左军；后军；游奕军；踏**；选锋军；胜捷军；破敌军；水军。其中背嵬军是绝对主力，名字学自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其它军名都是增长士气的军号。

据绍兴九年统计，这十二军共有二十二名统制、五名统领和二百五十二名将官分别率领，其中有正将、副将和准备将各八十四名。王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战；此五人是岳家军的中坚人物。

绍兴六年岳飞第二次北伐前，有两件事影响了他的布置。

一是目疾。自四年着手建立岳家军后，岳飞连续六年在夏天剿匪、在冬天抗金和伪齐。尤其是夏天在南方湿热的气候中用兵，是岳飞这个河北人所不适应的。绍兴五年夏六月，平定杨幺后，岳飞病势加重，‘两目赤昏，饭食不进’，‘四肢堕废’，以至于不得不上奏恳请解除军务养病。宋高宗当时倾向主战，回绝了岳飞的申请，反而说岳飞‘措置上流事务，责任繁重’，‘卿当厉忠愤之素心，雪国家之积耻，勉副朕志，助成大勋’。经过治疗，到了秋冬季，岳飞的目疾有所好转。

二是岳母姚氏于绍兴六年三月二十六日去世。岳飞是历史上有名的孝子，和老母在一起时总是全天侍侯，亲自调药换衣，无微不至。姚氏死后，岳飞和岳云等人扶着其灵柩，光着脚徒步走到江州的庐山。丧葬完毕，岳飞就留在东林寺中为母守孝。按古代礼法，岳飞必须‘丁忧’三年，如有特殊情况方可‘起复’，即居官守丧。岳飞要坚持礼法，但满朝上下均一致反对。宋高宗命宦官邓琮到东林寺请岳飞起复，岳飞‘欲以衰服谢恩’，邓琮坚持不允，但岳飞‘三诏不起’。最后，宋高宗对岳飞及其部下下达了严厉的警告，说岳飞‘至今尚未祗受起复恩命，显是