在金軍快速插入時，很多叛軍和盜賊也趁勢獨立，不少高級官員被盜賊殺死，浙江的形勢非常危急，最後宋廷決定在定海（今浙江鎮海）登船，避入海中。金軍進攻明州，張俊和守臣徽猷閣待制劉洪道帶兵擊敗之，但兀朮大軍隨後壓到，張俊率兵撤離。金軍佔領明州後又快速攻克杭州臨安府。兀朮由於戰功卓越，被宋人稱爲“四太子”，取代了“二太子”斡離不，成爲宋人心目中金軍的精神化身。此時兀朮已經被勝利衝昏了頭腦，竟然放棄騎兵優勢，遣部將阿里、蒲盧渾徵集海船入海追擊。金國的改革進程雖然一日千里，而且此時戰局佔優，但要和宋軍進行海戰還爲時過早。金軍艦隊在昌國（今浙江舟山）沿海遭遇風雨，一支正規海軍竟無法處理。宋樞密院提領海船張公裕趁機率宋軍大船衝擊，金軍豈能抵抗，大敗而逃，損失不計其數。兀朮本就是孤軍深入，遭此大敗後連忙宣佈“搜山檢海已畢”，開始北撤。
金軍退到鎮江口時發現韓世忠的大軍已經駐防，金軍一時進退不得，金將“鐵爪鷹”李選向韓世忠投降。韓世忠約兀朮在江上決戰，兀朮不得已答應。韓世忠只有8000兵，而兀朮有10萬大軍，但韓世忠毫無畏懼，準備和南下以來從無敗績的四太子打上一仗。建炎四年三月十五日，宋金兩軍按約出戰，雙方主將韓世忠、兀朮均親自指揮戰鬥。金軍的目標是突破宋軍封鎖，只要在北岸登陸就可以乘馬逃離，但宋軍艦隊守住北岸，豈容金軍逃脫。金軍船小，但畢竟人多，而且很靈活，士卒在船中射箭，火力異常兇猛。韓世忠的夫人梁氏親自登上樓船，擊鼓助威，宋軍士氣大振，向金軍發起一輪又一輪的猛攻，這便是野史中着名的“梁紅玉擂鼓戰金山”。在宋軍的澎湃攻勢下，金軍終不能抗，向韓世忠求和，被韓世忠嚴詞拒絕。兀朮無奈，只好率艦隊沿長江南岸向西機動，尋求突破的機會。
韓世忠則始終在北岸並行，且戰且走，最後將金軍逼入建康東北70裡處的黃天蕩，以大艦堵住出口港。撻懶派大將太一孛堇（《金史》作移剌古）率軍來援兀朮，駐在江北，被韓世忠艦隊抵住不能與兀朮軍相會，相持了48天。兀朮見友軍來援，集結兵力發起總攻，韓世忠以海艦反擊，用鉤索掀翻不少金軍船隻，又將艦隊分爲兩陣，夾擊金軍。兀朮只見本方艦船被依次掀翻，眼見就要輪到自己的旗艦，只好親自站到船頭向韓世忠求和，祈求得非常哀切。韓世忠慨然道：“還我兩宮（指徽宗、欽宗），復我疆土，則可以相全。”這顯然又超出了兀朮的職權範圍，只好再戰。過幾天兀朮實在扛不住又求和，韓世忠用箭把他射走。兀朮陷入絕境，非常哀傷地說：“南人使船欲如使馬，奈何？”在軍中廣泛徵求意見如何逃命。有一位姓王的福建人獻策，在金軍小船中載土，可以增加穩定性，又可以避火，宋軍的海船必須要有風才能動，可以等到無風時再出擊。又有人獻策可以利用黃天蕩旁淤塞的老鸛河，掘一條河道逃離。
史書上說金軍一夜之間掘出一條30裡的河道，這似乎也不太現實，可能是早就開始掘，沒被宋軍發現。長江上無風的天氣很罕見，兀朮又用方士計策開壇作法，赤壁之戰諸葛亮借東風系小說演義，金兀朮作法止風倒是史實。兀朮站在船頭，殺白馬，剜婦人心，割自己的額頭，口中唸咒，次日江風果然停止，金軍趁機衝出，用火箭射宋艦，宋軍大艦無風不能動，損失不少，終於被金軍從河道逃出。有些史料上還說兀朮登金山廟偵察時被宋軍俘獲，但均語焉不詳，應該是錯的。韓世忠在金軍氣焰正盛時，以8000兵力痛擊兀朮10萬主力大軍，極大地鼓舞了逆境中的宋朝軍民，因功拜檢校少保、武成感德軍節度使、神武左軍都統制。除兀朮倉皇北逃外，撻懶部也受到打擊，退出江淮。拔離速部孤軍深入，更遭重創，歸途中遭到伏擊，大將耶律馬五被弓箭手牛皋生擒。金軍這一次南侵很多部隊都冒進輕入，歸途遭到重創，自靖康以來的狂熱有所收斂，更認識到突入江淮與宋軍水戰是完全不現實的，雙方的戰略重心開始轉移到陝西。