因此，蔣介石命令白崇禧火速率領正規軍開入上海。於21日下午3時，白崇禧順利進佔上海，3月26日，蔣介石乘軍艦抵達上海。
攻陷南京的戰爭，從蔣介石統帥北伐軍取得安徽戰場的勝利開始。早在1926年11月中旬，蔣介石就命令軍隊從九江向安徽移動。
1927年2月中旬，江左、江右軍開始了安徽戰場的戰鬥。當時攻皖北伐軍爲李宗仁、程潛、賀耀組、王天培諸部，約8萬餘人，由李宗仁、程潛分任江左和江右總指揮。江右軍約3萬人，由九江向皖邊進發，到達湖口、馬當及至德、祁門，江左軍則由鄂東地區向安慶方向進擊。在安慶，幾乎沒有經過什麼戰鬥就進佔了。接着，江右軍第一縱隊第六軍第十七師，於3月6日向蕪湖進發，遂也不戰而克。
3月15日，蔣介石下令北伐軍10日內攻佔南京。北伐軍奉令，向南京前進。16日，北伐軍越過當塗，包圍南京，17日，北伐軍佔領當塗城，接着又克江寧鎮。與此同時，江左軍也控制了津浦線南段及合肥、蚌埠等城市，形成對南京的三面包圍。蔣介石將會攻南京的任務交由東路軍和江右軍擔任，並以江右軍爲克復南京主力。
3月20日，程潛命各縱隊，向南京外圍敵軍各據點全線發起總攻。21日，第三縱隊賀耀組部破祿口鎮之敵後，進佔了陶吳鎮、秣陵關，同日，一縱隊第六軍第十七師攻佔了江寧鎮。22日，二縱隊魯滌平第二軍進佔了龍都鎮和淳化，接着一縱隊與三縱隊又進佔了將軍山、牛首山一線，壓迫南京城郊。這時，東路軍何應欽也率第四、第六縱隊到達鎮江。23日，程潛命江右軍各軍同時發動攻擊，乘勝圍攻南京，並親臨城下指揮攻城，第二縱隊第二軍進擊中華門、光華門；第三縱隊向通濟門、武定門出擊；第一縱隊第六軍近3萬人向雨花臺猛進，並佔領了該處要塞，威脅城門守軍。
與此同時，何應欽率領的東路軍先頭部隊，進抵棲霞街、東流鎮、湯山鎮一線，敵守軍或退入南京城內，或向下關潰散。至下午2時，攻擊通濟門之北伐軍，已達城門口。約3時左右，北伐軍奪得雨花臺，孫軍一部分沿城外護城河潰往下關，一部分入城後出儀風門退至下關。北伐軍第二軍第十九師，遂自中華門首先攻入南京城。
這時，攻擊通濟門的獨立二師師長兼四十軍副軍長賀耀組，正指揮所部兩萬餘人，以猛烈炮火，繼續攻擊通濟門，直魯守軍見來勢甚猛，遂倉皇逃走，北伐軍攻下了通濟門。此時，洪武門也被二軍副軍長魯滌平所部乘勝攻破，褚玉璞見大勢已去，遂令所部退往浦口，北伐軍遂於24日凌晨進佔南京。
3月25日，蔣介石抵達南京，下車伊始，即令程潛、賀耀祖負責南京治安。在此之前，蔣在軍艦上召見江右軍總指揮程潛，並指示：“對於無論中隊或流氓，損害外僑生命財產，均須負責查明其確實情形，予外僑以滿意之解決。”除此之外，沒有太多指示。
三、分裂與清黨
1．遷都之爭與軍黨之爭
隨着北伐的節節勝利，蔣介石的實力越來越大，對於蔣介石逐步掌握黨、政、軍大權，國民黨各派都十分不滿，暗中都主張對他加以約束。這種怨憤逐漸升級，防蔣獨裁的空氣日見濃厚，迎汪復職的呼聲就是在這種背景下出現的。
1926年5月25日，有人在國民黨中常會上提議：“汪精衛同志病仍未愈，本會應去函慰問並申述本會熱望其早日銷假視事。”各省黨部隨後紛紛通電響應，何香凝、吳玉章也不斷聯絡左派，商量此事。8月5日，何香凝在中央黨部第47次會議上提議：“現在請汪銷假者既函電紛馳，中央應分別答覆，及將原電轉汪主席。”
8月中旬，蔣介石到達長沙。此時，蔣之嫡系第一、二師“潰敗”，前方出現於蔣不利的情況。廠州提出“迎汪”的問題，對蔣而言當然是個十分敏感的問題。這時本應按照國共兩黨協議，召開兩黨聯席會議，中央所派代表張國燾、瞿秋白，已於8月20日到達廣州。因“迎汪”空氣高漲，張靜江等不肯在這時開會，兩黨聯席會議遂告擱淺。
另外，在中山艦事件中被蔣擊敗的汪精衛，也不願就此敗下陣來，他於7月16日主動寄出了請求復職的信，請求復職。
8月下旬，這封信寄到廣州，在國民黨內引起了強烈的反響。何香凝主張公佈此信，張靜江、葉楚傖頗爲恐慌，蔣介石知道消息後致電黃埔軍校說：“迎汪比倒蔣還壞。”他一面提出將國民黨中央黨部、國民政府北遷武漢，極力阻汪回任，一面派人到上海會見陳獨秀，“請C．P勿贊成汪回”，說什麼汪回來後將爲小軍閥所利用，同他搗亂，分散國民革命的力量。蔣還請陳獨秀和共產國際代表維經斯基赴鄂，企圖用共產國際的影響，說服人“援助蔣”，“維護他的總司令地位”。
1926年10月15日至26日，中國國民黨在廣州召開第二屆中央執委及各省區聯席會議。會上提出《請汪精衛銷假案》，正式把這個問題提上議程。
“迎汪”案的提出，遭到了右派的阻撓，蔣介石事前佈置張靜江頑抗，聲言他的主席地位決不能動。張靜江說：“請汪復職，無異於擁汪倒蔣，我一定要與之一爭到底。”還揚言提出歡迎胡漢民以爲抵制。但會議還是通過了“迎汪”案，並通電各級黨部，通告中央關於請汪回任的決定，並向汪本人發出通電，請他“即日命駕回粵”。
在這種迎汪抑蔣的政治氣氛中，蔣介石不得不爲自己的政治前途重新作一番打算。1926年9月上旬，當國民革命軍克復漢陽、漢口後，蔣介石於9日致電張靜江、譚延闓：“武昌克後，中正即須入贛督戰。武漢爲政治中心，務請政府常務委員先來主持一切，應付大局。否則遷延日久，政治恐受影響，請勿失機。”
蔣介石此時所以積極主張遷都武漢，一方面爲了利用自己在北伐過程中重新樹立的威望來輻射和干擾汪精衛在廣州的勢力，另一方面是因爲他深知武漢戰略地位的重要，並想親自控制武漢政權，也可壓制在北伐中日益坐大的唐生智。
9月18日，蔣介石再電張靜江、譚延閩要求政府遷漢，但被擱置。蔣介石得悉後，又於10月22日再電廣州中央，要求遷漢，接着他派鄧演達到廣州催促政府及中央黨部遷移武漢，但又被否定。
隨着革命形勢的發展，國民政府的管轄區域日漸擴大，廣州地處偏遠，遷都問題又得重提，國民黨中央政治委員會乃於11月26日做出了遷都武漢的正式決定。會後，在廣州的國民黨中央執行委員和國民政府委員分批北上。
12月2日，宋慶齡偕同國民政府司法部長徐謙、交通部長孫科、財政部長宋子文、外交部長陳友仁以及蘇聯顧問鮑羅廷前往南昌，並在廬山召開會議，做出如下決議：採取消滅孫傳芳聯絡張作霖的策略，工人運動從緩，農民運動加快，凡北伐軍攻克的省份，財政由中央統一管理，取消主席制的一長制，改爲委員制的合議制，電請汪精衛回國復職。會上，蔣介石以“政治與軍事發展便利起見”爲由，提議改遷都南昌，未被與會者同意。會議結束後，蔣介石回南昌，宋慶齡一行赴武漢。
12月13日，由在武漢的國民黨執行委員暨國民政府委員臨時聯席會議在武昌正式組成，代行國民黨中央黨部和國民政府的職權，同時發佈命令定都武漢。又組織國民政府委員會，以財政、外交、交通諸部長，漢口、武昌市長及防軍司令等9人爲委員，徐謙爲主席，會上，蔣介石被點名批評，認爲是要搞、獨裁，把個人權力凌駕於黨中央之上。會議所決定：凡軍事委員會的決議，要由中央執行委員會議決，總司令動員令要由軍事委員會七人主席團討論，通過後再交中央執行委員會批准，總司令不得擅自決定一切和任意下令。很明顯，這幾個決定主要是針對蔣介石的。
武漢國民政府的成立對控制兩湖局勢，對唐生智加以限制起到了一定的作用，但與蔣的願望還相去甚遠。再加上國民黨中央防蔣軍事獨裁的氣氛日漸濃厚，鮑羅廷等人對蔣是如此的不留情面，甚至連聯席會議也沒能讓蔣插上一腳，蔣遂蓄意有所行動。
蔣介石在12月問，把張靜江、譚延闓從廣州接到南昌，還截留了部分取道江西去武漢的國民黨中央執監委員和國民政府委員，於1927年1月3日擅自在南昌召開了中央政治會議第六次臨時會議，非法決定中央黨部和國民政府移駐南昌。
爲了實現遷都南昌的目的，蔣介石在1月10日和21日又兩次操縱南昌政治會議，做出要求武漢成立政治分會，解散臨時聯席會議的決定。這實際上是否定了武漢國民政府的合法性，只將其作爲南昌政府的一個分支機構。蔣介石無視黨紀，公然向武漢國民黨中央臨時聯席會議挑戰，激起了武漢方面的強烈不滿。
武漢國民政府主席徐謙三令五申要求南昌的國民黨官員前往武漢。1月中旬，蔣介石前往武漢，搖脣鼓舌，四處遊說。但是蔣介石所到之處，屢遭抵制，蔣甚爲難堪。在1月12日武漢各界召開的歡迎大會上，就有人當場質問：爲什麼違抗國民黨中央遷都武漢的決定？爲什麼無理扣留國民黨中央委員？蘇聯顧問鮑羅廷也當衆批評和羞辱了他。最後蔣介石在武漢呆了一週之後，毫無收穫，並且幾次受辱，衆人排擠，甚是鬱悶，最後悻悻離去。
1月18日，回到南昌之後，蔣介石回顧這幾日四面碰壁、屢受侮辱，心中怨憤油然而生。他立即給徐謙打了個電報，要求撤銷鮑羅廷的顧問職務。徐謙收到電報後，未予理睬，蔣介石也無可奈何。
遷都之爭以武漢國民黨左派的勝利而告結束，但蔣介石的妥協施展的是“以退爲進”的策略，不久，他與黃郛等人密謀，決定了“底定東南”的策略，蔣意已決，不願再與國民黨右派和合作，打算憑藉自己的軍事力量“搞個單幹”。
在遷都之爭中，國民黨左派和人對蔣介石的軍事獨裁、跋扈義憤滿腔，一時輿論沸騰，紛紛要求提高黨權，限制軍權。
2月22日，武漢中央執行委員會常務委員會決定接受21日擴大聯席會議的要求，決定於3月1日在武漢召開國民黨二屆三中全會。