“陛下已登大寶，社稷有主，已足伐敵之謀。而勤王之師日集，彼方謂吾素弱，宜乘其怠擊之。黃潛善、汪伯彥輩不能承聖意恢復，奉車駕日益南，恐不足系中原之望。臣願陛下乘敵穴未固，親率六軍北渡，則將士作氣，中原可復。”
趙構一看大怒，你個小兵卒子，說話不經大腦，家國大事是你能議論的嗎？於是剝奪了岳飛的兵權。
岳飛這次被一擼到底，連去背行軍鍋的資格都沒有，被革除軍職、軍籍。
八月，岳飛渡河北上，奔赴抗金前線，此時，“聲滿河朔”的河北西路招撫使張所正在大名府多方收攬英才抗金。張所知悉岳飛的遭遇後，便留他“帳前使喚”。這是岳飛第四次投軍。
岳飛見識非凡、武藝高超，張所破格提拔他。“以白身借補修武郎”（第四十階），任河北招撫使司中軍統領，後又升爲統制，隸屬於名將王彥部下。這時候岳飛的官階大致是准將，職務（差遣）是旅長。
張所因主張抗金，早前曾彈劾黃潛善而遭貶謫發配嶺南，最終死於貶途。被張所派遣去收復衛州（河南衛輝）等地的王彥、岳飛一部，隨着張所被貶及河北西路招撫司的撤銷而成爲孤軍。
金兵勢大，王彥趨於保守，岳飛擅自率部發起進攻，擊敗金軍攻佔新鄉縣。金軍誤以爲王彥、岳飛部是宋軍主力（實只七千餘人），調集各路金軍圍攻，岳飛率部死戰突圍而出。
王彥因此與岳飛不和，不再同意與岳飛合兵一處，岳飛遂獨自率部戰鬥。所以，岳飛從小就有些不聽上級號令，在軍中樹敵頗多。
此時宗澤任東京留守司留守，岳飛率部來投，再次歸入宗澤帳下，任東京留守司統制。
建炎二年（1128年），岳飛此時二十六歲，七月初一，連續二十四次上書北伐而未獲趙構支持的老將宗澤出師未捷身先死，杜充繼任留守，宗澤策劃的北伐夭折。
七月十五日，岳飛按照宗澤生前部署率部進駐河南府（洛陽）。
八月，金軍大舉進攻，妄圖攻取陝西。岳飛所部首當其衝，與金軍大戰於虎牢關，擊退金軍，升武功郎。
此後多次轉戰，到建炎三年時他因軍功先後補武經大夫、武略大夫借英州刺史、武德大夫英州刺史（三十五階升至第十九階）。
宋朝的刺史是從五品的武臣寄祿官（代表官員身份地位的虛銜），無職掌，無定員，級別大致是副廳級+。武官官階方面，大致是中將，雖然職官只是旅長，但是軍銜很高。
建炎三年（1129），金軍在岳飛這兒碰到硬釘子，於是轉變攻擊方向。
一月，徐州、淮陽、泗州陷落，二月，天長軍（安徽天長）被攻陷。趙構慌忙逃至杭州，五月移駕建康（南京），不久又轉回杭州。六月，杜充以勤王爲名放棄開封，岳飛苦諫無果，只得隨軍南撤。
秋，金軍多路南侵，其中完顏兀朮（金兀朮）領軍直接進攻江南，妄圖一舉滅亡南宋。十一月，金軍渡江後，杜充派都統制陳淬率岳飛、戚方等將官統兵二萬奔赴馬家渡，又派王燮的一萬三千人策應。
二十日，陳淬率軍力戰，岳飛獨率右軍與金軍對陣，然而王燮卻不戰而逃，陳淬戰死，諸將皆潰，岳飛苦戰無援，二十二日整軍退往建康東北的鐘山。二十三日，杜充放棄建康逃跑，繼而降金。
金兀朮渡江後衝向杭州，各路宋軍紛紛潰敗，趙構坐海船逃至海上躲避，據說因此受驚嚇造成了不舉。當然趙構不會對李寺說起。
馬家渡之戰後岳飛決定脫離杜充，獨自領軍在金軍後方發起進攻，多次給予金軍重擊，收復多處失地。
建炎四年（1130）二月，金軍北撤，受到岳家軍截擊，損失慘重。五月，岳家軍收復建康，俘獲萬戶、千戶以下千餘名金兵，這是岳家軍首次輝煌勝利。
四月任御營使司統制（隸屬張俊），收復建康（南京）後，岳飛押送俘虜面聖，這是君臣倆第一次相見，補武功大夫（第十五階）、昌州防禦使，通、泰州（南通、泰州）鎮撫使兼泰州知州。
宋朝諸州觀察使、防禦使同刺史一樣，是武臣的寄祿官，爲武將兼銜。觀察使在馬步軍正副都指揮使之下，防禦使在馬步軍都虞侯之下。
防禦使官階高於團練使，水滸中出現過很多團練使，爲宋朝各地州府的常任武官，大致是武警支隊長一角，，低於觀察使。
不過，寄祿官又分遙郡和正任兩種：“凡未落階官者爲遙郡，除落階官者爲正任。”
遙郡也就是指並未赴本州上任者（虛銜），正任則是赴本州上任者（實銜）。
宋朝的鎮撫使是由中央委派負責一個地區或幾個州府軍事防務的臨時設官。負責轄區軍事防務兼理民政、財政等事務，這是一個有實權的職務。
岳飛此時已經成長爲一個方面大員，既是掛上將銜的野戰軍軍長，雖還是旅長職務，可部衆超過一個軍，又是兩個軍分區司令員，而且還兼任地方上的市委書記兼市長，全是實實在在的軍政一把手。
這一年，岳飛不到三十歲，只有二十八。
紹興元年（1131年）七月，宋廷將岳家軍的軍號定名爲神武右副軍，任命岳飛爲統制。 十月，授親衛大夫、建州觀察使。十一月，岳家軍改號神武副軍，岳飛升爲都統制，岳家軍正式成軍。
岳飛先後任武功大夫昌州防禦使、神武右副軍統制；
親衛大夫建州觀察使、神武副軍都統制、權知潭州兼權荊湖東路安撫都總管；
中衛大夫、武安軍承宣使、神武副軍都統制；
鎮南軍承宣使、神武副軍都統制、江南西路沿江制置使、江南西路舒蘄州制置使（由第十五階升至第九階）。
宣撫使、安撫使爲諸路災傷及用兵的特遣使臣，制置使是宋朝邊疆地區臨時性的軍事統帥。宣撫使、制置使都是方面大員。
此時，嶽元帥已快封神，既是野戰集團軍統兵大將，又是戰區司令。
紹興四年，三十三歲的岳飛先後擔任神武后軍都統制（其餘與上年同）兼荊南鄂嶽黃復州漢陽軍德安府制置使、清遠軍節度使、湖北路荊襄潭州制置使。八月二十五日，朝廷封岳飛爲武昌縣開國子爵。
宋以前的節度使權力很大，轄區內的軍、政、財權由節度使獨攬，這也造成了唐朝的安史之亂和晚唐時的軍閥割據，最終致唐滅亡。
趙匡胤本身就是由軍閥發動政變上位的，自然是極力採取措施削弱節度使，因而，宋朝的節度使只是一種榮譽性的虛銜，對武將來說是晉升的“極致”，多者可帶兩三鎮節度使。
岳飛這個節度使只是面子上更好看，實權還是在都統制（集團軍司令）和制置使（省軍區司令）。
岳飛此時身兼多職，管轄的範圍也擴大了許多，而且開始封爵。
紹興五年，岳飛先後擔任鎮寧崇信軍節度使、神武后軍都統制、荊湖南北襄陽府路蘄黃州制置使；授檢校少保，鎮寧、崇信軍節度使、荊湖南北襄陽府路招討使兼營田使；武勝、定國軍節度使，湖北、京西路宣撫副使兼營田使。
二月初二日晉封武昌郡開國侯。九月十三日又晉封武昌郡開國公。
伴隨着岳飛官職爵位的上升，岳家軍取得了一個又一個偉大勝利。此時岳飛已經封公爵，再往上就是郡王、王，而異姓王基本上都是死後追贈。