徐州爲蘇北門戶，軍事要衝，徐州失守，蘇北、魯南全線動搖，蔣介石當即在南京召集軍事會議，決定親自北上，奪回徐州。此時，寧、漢間矛盾已趨緩和，而李宗仁陳兵於蕪湖——南京間，卻使得蔣如芒刺在背。戎伍起家的蔣介石明白，要擺脫困局，只有在戰場上重新殺開一條血路。
7月25日，蔣介石率第一軍第二十一師趕赴蚌埠，準備北上一博。至此，第一軍基本上均已離開南京。李宗仁對北上態度消極，並對蔣說其部隊到徐州會有思鄉之情，不宜作戰，而不願向蘇北發兵。白崇禧對此態度不明，何應欽的第一路軍遠在海州一帶，無法及時回軍。北進收復徐州主要還是依靠王天培的第十軍。26日，蔣介石下達作戰命令，以第二路，第三路左、右兩翼分由東、西、南三面向徐州分進合擊。第二路總指揮仍爲白崇禧，第三路總指揮蔣自兼，王天培、賀耀組分任所屬左、右兩翼總指揮，第二十一師爲總預備隊。
當時，各部距徐州均不過百里左右，蔣介石希望乘孫、張聯軍新下徐州、立足未穩之機，一舉收復徐州。王部隨即迅速北進，8月1日下午，進抵徐州城郊，當夜，前鋒直逼徐州城下。
第二路於7月31日與敵人發生接觸，但直到徐州兵敗，始終未組織起像樣攻勢，該軍實際是處於觀望狀態。
第三路右翼擔任正面攻擊任務，蔣介石隨該路行爲，並調預備隊二十一師加入，該路戰鬥力較弱，行進也頗遲緩。經蔣一再督促，並以親信部隊第二十一師殿後，才於8月1日由徐州南面進抵徐州城郊。2日，左、右兩翼分別從西、南兩面向徐州郊外敵軍據點發起強攻，前鋒直逼徐城外圍敵軍最後據點，雙方在此展開激烈拉距戰，寧軍攻勢甚猛，徐州城幾乎被其合圍。
下午，蔣介石親自抵達距徐城僅7裡的雲龍山麓督戰，並判斷敵人險要已失，不會持久，準備部署向徐州追擊。然而就在此時，風雲突變，敵軍緊急自後方及戰事較爲平穩的隴海路東段抽調大批兵力，向進展最快的左翼第十軍全力反撲。第十軍進展正順時，驟遇強勁反擊，措手不及，遭遇挫折後即一蹶不振，於下午6時前全線後撤。
當第十軍倉皇潰退的時候，第二路又蟄伏不動，擔任正面主攻的右翼部隊在各路敵軍聯合夾擊下，潰不成軍。3日凌晨，蔣介石忍痛下令各軍全線後撤，徐州攻擊戰，功敗垂成。6日，蔣介石狼狽逃往南京。爲逃避指責，他將此役失敗歸結於王天培部的潰退，先將王關押，隨後秘密處死。
與徐州兵敗的同時，蔣介石在政治上也遇到了巨大麻煩。爲了確保自己的“正統”地位，汪精衛提出了蔣介石必須下野作爲各方和解的強硬條件。
與汪精衛相比，形勢對蔣介石十分不利。在南京內部，蔣介石以李宗仁、白崇禧爲首的桂系矛盾日益尖銳。5月中旬，李宗仁、王天培等防地直接與漢方對峙的將領曾往武漢政府轄區地江西湖口，與江西省政府主席朱培德會晤。李、王赴贛，是在得到蔣介石同意之後，本身並不越軌。不過，據朱培德報告，李宗仁在會談中表示：對於寧漢雙方的黨務之爭不負責任，表現出欲充當寧、漢兩方之外第三者的姿態。汪精衛據此判斷，寧方“內部已經起了分化的趨勢”。李宗仁的表態，表現出其欲與蔣介石劃清界限的態度。
7、8月間，漢方開始着手分共後，桂系與漢方備要員間更是信函往還，十分熱絡。但在雙方態度尚不明朗、局勢難以預料情況下，也不想公開與蔣決裂，不願看到南京政權基礎發生動搖。蔣介石在漢口演說
8月初，南昌起義爆發後，漢方對實行武裝鎮壓，這使得桂系大感稱心，雙方更有意進一步接近。恰巧此時蔣介石又兵敗徐州，軍威重挫，桂系認爲時機已到，開始躍躍欲試，準備出來收拾局面。桂系由李宗仁領銜，致電漢方及馮玉祥等，邀請武漢方面的領導人到南京，召開中央全會，解決黨務問題。數封電報，蔣雖然也參與其中，但列名在李、白之後，更多地體現的是桂系的主張。
武漢方面對南京內部的派系之爭自然是瞭如指掌。8月9日，唐生智發出通電，嚴厲指責蔣介石自立政府，擅開會議，屠殺異己，對蔣窮追猛打。隨後，汪精衛等致電李宗仁，號召召開國民黨四中全會以解決目前的諸多紛爭。唐、汪兩人一唱紅臉、一唱白臉，中心意思是寧漢合作可以，但蔣介石必須下野，向桂系發出驅蔣合作的信號。
徐州兵敗後，蔣介石意識到形勢嚴峻。8月6日，蔣介石召來李宗仁，表示願意辭職，以承擔徐州失敗責任。李宗仁因爲摸不清底細，惟恐過早表態得罪蔣介石，所以進行全力挽留，一再勸蔣介石放棄辭職打算。
1927年8月11日，國民黨中央黨部在南京召開會議。在這次會議上，蔣介石提出了辭呈，與會人員自是挽留了一番。蔣介石於8月12日晚宣佈辭去國民革命軍總司令等本兼各職，次日在上海發表下野宣言，隨即乘船去奉化老家。
蔣介石表面上不加張揚地離開南京，但他有着自己的打算：他需要統一，這樣可以吞併汪精衛控制的具有法統地位的中央黨部和政府，南京可以成爲國民黨的合法政權；他同意讓步辭職，把汪精衛、西山會議派引來南京，穩住地方實力派桂系，爲日後全面奪權放下魚餌；他製造混亂，辭職時帶走一大幫人，中央監委張靜江、蔡元培、吳稚暉及國民政府主席胡漢民等人均跟着蔣介石辭職去了上海，南京城裡負責與汪精衛、西山會議派談判的是做不了主的桂系和何應欽等，這使得他可以從容地在日後的派系鬥爭中插上一手。
二、蔣宋聯姻和第一次復出
1．寧漢合流與蔣的外遊
蔣介石下野後，中國政局隨即動盪不堪，各黨各派紛爭日增。支持蔣的胡漢民、吳稚暉、李石曾、張靜江、蔡元培等相繼離職，離開南京前往上海。桂系一時掌握了南京政權，但在寧、漢合流一事上遲遲不能取得進展，南京國民政府內部的爭議、分歧有增無減。
此時孫傳芳乘機揮師渡江南犯，於8月28日佔領了棲霞山及龍潭車站，直逼南京，情勢危急。何應欽、李宗仁調集重兵迎敵，8月30日，在龍潭大敗孫軍，俘敵3萬餘人，化險爲夷，轉危爲安。龍潭一役使寧、漢雙方在經受敵軍驚嚇之後，感到繼續分裂下去，對誰都不利，所以雙方都認爲有必要加快商議合作的進程。9月15日，國民黨寧、漢、滬各派系成立中國國民黨中央特別委員會，改組南京國民政府和軍事委員會，由譚延闓任國民政府主席。中央特委會的成立，標誌着寧漢合流的完成，特委會由桂系、西山會議派操縱，蔣介石、汪精衛、胡漢民都拒絕到任。汪精衛本想通過合流重新確立在國民黨內的獨尊地位，沒想到只是特委會、國府常委、軍委主席團成員之一，武漢方面沒佔到便宜，反而失掉了正統地位。9月13日，汪辭去職務，帶着幾個親信一道前往九江。
1927年9月21日，汪精衛回到武漢，與唐生智合計成立武漢政治分會，宣佈與特委會對立。於是，一場剛剛實現的“統一”，又因爲權力分配不均陷於破裂。lO月22日，南京特委會宣佈討伐唐生智，李唐戰爭爆發。11月中旬，唐生智兵敗下野，兩湖地區爲桂系所佔。11月15日，李宗仁率部進入武漢，唐生智殘部回到湖南，在嶽州盤踞。
此間，汪精衛還利用漢方的另一軍事實力派張發奎的勢力與特委會對抗。10月21日，在武漢已無立足之地的汪精衛只好與張發奎逃往廣州，成立了廣州國民黨中央委員會和廣州國民政府，並準備利用家鄉的優勢發展實力，桂系主力離開南京，唐生智被擊潰，汪精衛前往廣州，要求蔣介石下野的力量暫時消失。
此時，蔣介石的心態是放開手腳，讓這些所謂的政界要人盡情施能。蔣從中可以認清他們的真正嘴臉，也好決定以後的具體對付方法。到了野鶴閒雲的後期，蔣已準備復職，重出執政了，同時，蔣介石也積極爲自己積累政治資本，爲了獲取更多的支持，他必須與帝國主義的一國或多國建立聯繫，這實際上是蔣對外政策和策略的延續。至於究竟是歸屬於日本，還是美、英，蔣當時主意不定，猶豫不決，無奈只能全面試探，以下從日或從美的決心。
蔣介石下野前，各帝國主義國家雖然把他看作最具實力的新軍閥，但由於其討漢主張與帝國主義願望相悖，故未得到支持。下野後的蔣介石十分清楚，欲東山再起，沒有帝國主義的支持是不行的。出於這種考慮，下野後不久，蔣介石就決定遠遊日本，尋求支持。
蔣介石在日本期間，發表《告日本國民書》，呼籲“中日親善”，表示什麼“中國革命之遲來，與日本之安危有密切關係”。他先是拜謁了日本黑龍會頭子、著名的國際間諜、中國通頭山滿，並在住處寫“親如一家”的條幅，又接見當年在日本新野炮兵聯隊當見習官生時的師團長長岡外史，併爲其書寫了“不負師教”的條幅。蔣介石還通過頭山滿，與日本首相田中義一、陸軍大臣向川義則、參謀總長金井範三及參謀次長南次郎進行秘密會談。
在與田中義一的會談中，田中義一表示對蔣介石“將充分援助”，但其有三個條件：一爲蔣介石必須，二爲蔣介石必須“不犧牲日本之權利”，三爲蔣介石“先行鞏固南方”，只有先鞏固南方，才能着手北伐。通過一系列的密談，蔣介石與日本政府達成4條密約：蔣介石承認日本在滿洲的特殊權益；蔣決定到底；日本支持蔣政權，日本借予蔣氏四千萬日元，以助蔣安定中國；中、日兩國實行經濟合作。雙方各取所需，皆大歡喜。
蔣介石在日本的一系列活動，促使美國政府改變了觀望態度，積極拉蔣站在自己一邊。美國外交代表在上海加緊與蔣方人員接觸，駐日本使節直接與蔣介石談判，雙方達成默契。基本內容是：美國願意全力支持蔣在中國建立政府，統一中國，蔣介石政府將盡力保障美國在中國所取得的一切權益。蔣介石在完成一系列政治交易後，取消原定的前往歐美的計劃，11月10日，徑直返回上海。
2．蔣宋聯姻
蔣介石下野後，便忙着張羅與宋美齡的婚事。1922年，蔣介石與宋美齡第一次相遇在上海孫中山的寓所裡。那是一次基督教教徒的聚會，宋美齡那嬌小的身材，娟秀的面龐，伶俐的口齒，把蔣介石驚呆了，他簡直是如癡如醉。尤其是宋美齡那奪目的風采和廣泛的交際關係，加上她那美國式的教養和氣質，以及她背後的那個有財有勢的家庭，更令蔣介石一見傾心。此時，距蔣介石與陳潔如結婚剛剛一年。
然而，蔣介石追求宋美齡的最主要的目的還在於他要贏得孫中山的信任，以便成爲孫的繼承人。要得到孫中山的信任，最好的辦法是成爲孫中山的親戚，與孫中山結成連襟，蔣介石自然明白裙帶關係在中國的重要性。
蔣介石的目的是成爲中國的統治者，這就需要強大的軍事力量和雄厚的經濟實力的支持。他深知宋美齡的哥哥宋子文是理財能手，而宋美齡的姐夫孔祥熙更是有名的大財閥，若與宋家攀上千絲萬縷的關係，對蔣的仕途將是有利的。
蔣介石決心一下，便製造了追求宋美齡的長線戰略，他先向孫中山扣響了敲門磚。宋美齡是孫中山的妻妹，憑藉孫中山的身份和地位向宋家提親也許是條捷徑，蔣介石利用閒暇之餘，向孫中山道出了藏在心底的話：“我已無妻室，請問先生，宋小姐能受您勸說與我結婚嗎？”很顯然，他有意隱瞞了自己的髮妻、側室和新婚夫人陳潔如。
孫中山對蔣介石的風流韻事也略知一二，他當時沒有明確表態，只是很含糊地說：“等等吧。”遲疑了一下，他又補了一句：“這主要看美齡的心思，她心高氣傲，你先耐心等一等。”
於是把求助於目光轉向宋藹齡，得到她的首肯。宋藹齡展開縱橫捭闔之手段，使宋美齡相信嫁給蔣介石必能榮耀門楣，幸福終生，使宋子文意識到若阻止這樁婚姻，他將一事無成，使母親寬慰，蔣介石必將光耀宋家門庭，宋藹齡爲蔣宋聯姻忙碌着。
在認識宋美齡之前，蔣介石已先後有過三次婚姻。爲了掃除同宋美齡結婚的障礙，取得“合法”的求婚資格，蔣介石不惜採取各種手段，使得髮妻毛福梅離婚不離家，側室姚冶誠離婚別居，哄騙陳潔如“出國考察”，從而一一解除了與三個妻妾的關係。