蔣介石經過精心策劃，巧妙地利用各派系之間的矛盾，掃清了復職的一切障礙。‘
爲了換取蔣介石的支持，汪精衛在12月10日於上海舉行的四中全會第四次預備會議上提出了請蔣介石復任國民革命軍總司令職的議案，被會議立即通過。但蔣故作鎮靜，不作答覆，而於12月13日發表了《對時局之談話》，表示除非起來“擾亂”或再次北伐，“如不到這兩個時候，我決無出來的時候”，並聲稱要變更外交方針，對蘇聯絕交，禁止一切民衆運動。蔣介石的這番表白，受到國民黨一些人的讚賞。
在蔣的聲望上升的同時，汪的聲勢卻直線下降，但並不意味着蔣在政壇上沒有了強勁的對手，不可忽視另外一個人在幾經波折之後慢慢爬升起來一胡漢民。爲徹底爲自己的復出創造一個絕對權威的環境，蔣又謀劃對胡漢民等人的牽制力量，這當然引起了胡漢民等人的強烈不滿，氣急之下，胡漢民等相繼赴歐美遊歷、考察去了。
蔣介石所以能夠復職，除因爲政治上得到汪精衛、馮玉祥、閻錫山等人的支持外，同時還有一個重要的原因，是江浙或上海財界不支持李、白和孫科的新政府。新財長孫科在上海籌不到鉅款，蔣介石原來每月的預算爲一千萬元，孫科只籌得大約800萬元，這就使南京新政府無法維持日常工作，因而處於癱瘓狀態。
1928年1月2日，蔣介石面晤譚延闓，約定同往南京。4日，蔣介石由滬至寧“主持大計”。6日，譚延闓、丁惟汾、陳果夫等接收特委會機關，宣佈國民黨中央常委會恢復工作。9日，蔣介石通電宣告恢復國民革命軍總司令職務，負責籌備四中全會事宜。
1928年2月2日至7日，國民黨二屆四中全會在南京丁家橋中央黨部禮堂舉行。中央執監委員蔣介石、蔡元培、李石曾、譚延閩、于右任、張靜江、李宗仁、何應欽、朱培德、何香凝等近30人蔘加了會議。大會舉行了三次正式會議，討論通過了20餘項議案。
蔣介石在致開幕詞中說：四中全會是“清黨”後國民黨中興的一個會，也是中國中興的一個機會，今後的任務是共同一致反對，不僅反對他的主義，而且要反對他的理論和方法。簡而言之，要從根本上剷除。
四中全會在蔣介石的把持下，全面背叛了國民黨一大和二屆三中全會的革命精神，背叛了孫中山的三大政策。會議以“凡與聯俄、容共政策有關之決議案，一律取消”和“凡因關係開除黨籍者，一律無效”爲原則，審查了各種議案，議決並宣佈開除、撤銷了一大批黨員及所謂同情的二屆中央委員的黨籍，決定了停止聯俄政策。
四中全會在蔣介石控制下，改組了國民黨黨政軍中央領導機構。通過改組，在黨務方面，蔣介石當上了中常委兼組織部部長，在政府方面，他是南京國民政府委員，隨後任政治會議主席，在軍事方面，除恢復了國民革命軍總司令職務，又是軍委常委、軍事委員會主席，使他的權力“合法”地擴大到黨政軍領導機關的各個方面。
蔣介石憑藉自己的實力，利用各種政治手段，採取各種政治伎倆操縱了四中全會，擴大了自己的權力，又藉助四中全會給他的權力，以和繼續北伐爲由，使他取得了國民黨內部爭奪黨魁鬥爭的勝利，暫時統一了國民黨。
蔣介石的東山再起，使自己在國民黨中的地位更加穩固，南京國民政府在度過了這一混亂狀態後，在以後的鬥爭中慢慢穩定下來，成爲蔣介石在大陸進行政治經濟軍事活動的主要載體。
三、與國民黨內部政敵的爭鬥
1．與汪精衛鬥法
蔣介石建立南京國民政府之初，面臨着各方面的挑戰，其中就有汪精衛的政治反對派和胡漢民爲代表的國民黨元老派，蔣介石與之進行了爭鬥。在南京政權建立初，蔣介石採取各種手段，取得了爭鬥的勝利，鞏固了南京政權，進一步樹立了自己在國民黨內部的政治權威。
蔣、汪矛盾由來已久。寧漢合流前，蔣對汪既勾結又鬥爭，目的是爲了取代汪的地位，獨攬大權。蔣從日本回國後，在重新上臺前，爲了排除異己和牽制桂系，需要暫時利用汪派的力量，汪精衛爲了從桂系和西山會議派那裡奪回其統治權，也需要藉助蔣介石的實力，經馮玉祥撮合，蔣、汪合作了。
蔣介石在掃除了其復職障礙特委會後，汪失去了利用價值，蔣便以在廣州起義爲由，攻擊並迫使汪派退出政壇，汪精衛出國，陳公博到上海租界。1928年2月，蔣介石操縱的國民黨四中全會，通過了蔣介石、陳果夫提出的黨務整理計劃，在國民黨黨員中重新進行登記，規定1924年國民黨改組前的黨員才允許登記，登記後經過審查、訓練纔算是黨員。汪派中除汪精衛等少數人外，大部是改組後入黨的，因此被排除在國民黨之外，這個規定又給了汪派一次重大打擊。
1928年8月，國民黨二屆五中全會召開前夕，吳稚暉曾反對汪精衛一派人員參加全會，公然撰文指責汪、陳、甘、顧4人，皆與領導的廣州起義有關，並且認爲四中全會已決定，他們4人等候第三次全國代表大會表決他們的委員資格。
汪精衛出國後，在國內的汪派人物陳公博等人，於1928年初紛紛到上海，以法租界爲基地，進行反蔣活動。1928年5月間，陳公博在《革命評論》雜誌上首先提出“改組國民黨”的口號。11月28日，“中國國民黨改組同志會”在上海成立，人們熟識的“改組派”，就是這個組織的別名。它的領導骨幹是國民黨二屆中央執行委員和監察委員中的汪派分子，陳公博、顧孟餘、王法勤、王樂平、白雲梯、朱霽青、潘雲超、郭春濤等。用陳公博的話說：改組同志會的上級機關是所謂“粵方委員”，改組派以陳公博的改組國民黨主張爲綱領。
很顯然，改組派的主張和活動是以反蔣反南京政府爲目的的。其第一次代表大會宣言中分析南京國民黨性質時說：今日國民黨已被軍閥、官僚、政客、買辦、劣紳、土豪所侵蝕、把持。我們要繼續革命，必須重新整飭擔任革命使命的中國國民黨大本營，必須反對南京的反動中央和最近的第三次代表大會。
改組派主張必須恢復1924年改組精神，即重新改組中國國民黨，奉行孫中山的三民主義，繼承第一、二次全國代表大會的綱領，恢復農工政策，確定農工小資產階級的聯合戰線，努力剷除一切新舊軍閥，反對帝國主義。
改組派的主要活動是創辦刊物，宣傳他們的政治主張。如陳公博主編的《革命評論》、顧孟餘主編的《前進》、劉叔模主編的《呼聲》、趙惠謨的《夾攻》、章乃器主編的《新評論》，以及上海的《燈塔》、天津的《暖流》、巴黎的《國民》等。
面對改組派的咄咄攻勢，蔣介石十分惱火。1928年，乘胡漢民從國外回來之機，蔣介石利用胡漢民與汪精衛一爭高低，於是與胡重新合作，採取各種措施，鎮壓改組派。
1928年7、8月間，蔣介石授意上海軍警書面警告《革命評論》不得再印刷，並指使特務襲擊、破壞代銷該刊的書店、書攤，毒打報販。1929年，國民黨中央將查禁改組派刊物列爲重點工作，24種改組派報刊和其他反蔣報刊，先後被取締，接着又將海外的一些改組派報刊相繼列人取締之列。
改組派活動的是反對國民黨的三大。1929年3月，在南京召開國民黨第三次全國代表大會，會前產生的406名代表，由蔣介石指派的達221，圈定者122人，這種包辦大會的做法，激起了國民黨內許多派系的反對，汪精衛、陳公博在上海發表《關於最近黨務之宣言》，公開煽動南京等地的國民黨員發動請願，不少地方黨部進行抵制，並拒絕出席。
3月14日，即“三全”大會正式開幕的前一天，在南京夫子廟貢院禮堂召開南京市黨員代表大會時，改組派在會上大肆活動。蔣介石派出他的特務和憲兵，到會場大打出手，大會代表7人被捕，多人受傷，這就是“三一四”事件。此後，改組派在南京不能立足，轉移到上海，在法租界霞飛坊314號設立了聯絡點，建立外圍組織“中國國民黨各省市黨部、海外總支部聯合辦事處”，集合了20多個反對國民黨第三次全國代表大會的省市黨部、海外總支部，繼續進行反對蔣介石的鬥爭。
本來蔣介石得知改組派要反對“三全”大會後，便派邵力子到上海同改組派總部領導人疏通、許諾：如果改組派肯保持緘默，可以保證他們當選爲中央委員，但是改組派沒有接受這個交換條件。
1929年3月19日，蔣介石控制的三全大會決定永遠開除陳公博、甘乃光黨籍，開除顧孟餘黨籍3年，給汪精衛書面警告。10月，國民黨中常會以“勾結軍閥餘孽”、“顛覆黨國”等罪名，議決將陳公博、王法勤、顧孟餘等10人，交國民政府明令緝拿，對其中有黨籍者，送交中監委議處。國民政府正式下達了通緝令，國民黨中央監委召開常會，議決將王法勤、柏文蔚、朱霽青、白雲梯、王樂平、顧孟餘、陳樹人、潘雲超、郭春濤等9人永遠開除出黨。12月，國民黨中常會又以“叛黨禍國”開除了汪精衛黨籍。至此，蔣介石通過組織措施和行政手段把改組派的頭面人物都開除出黨和通緝在案了。
與此同時，1929年4、5月問，蔣介石聯絡上海公共租界總巡捕房，兩次派人闖入大陸大學搜查，繼以“共產機關”之名強行查封該校。11月，蔣介石用國民政府名義發出訓令，以“破壞黨國，影響頗巨”之罪名，嚴令上海軍政機關，封禁上海改組派總機關。爲打擊各改組派一般成員，蔣介石一方面採取封官許願方法，拉攏收買他們，一方面利用軍警機關，用綁票、跟蹤等手段在上海、北京、天津、河南、四川、廣西、綏遠等地先後拘捕改組派成員數十人，並以各種罪名，給予撤職、查辦、開除黨籍、通緝。對海外的改組派成員，則分別採取停止留學憑照，取消學籍和官費，停職或取消護照等方式進行了查處。在蔣介石的打擊和破壞下，汪精衛的改組派趨於土崩瓦解。
在改組派的活動受到蔣介石的壓制後，陳公博前往巴黎見汪精衛。陳公博在巴黎和汪精衛決定下一步計劃，概括而言是兩條，一是回國，二是參加武力反蔣。爲此，汪精衛派陳公博先行一步回國籌辦具體事務。
1929年5月，改組派及一些地方實力派在上海成立“中國國民黨護黨革命大同盟”，組織“護黨救”。唐生智、張發奎、石友三、李宗仁、何鍵、劉文輝等派代表參加，閻錫山、馮玉祥也與之建立聯繫。大同盟發表了宣言及決議案，呼籲恢復黨權，號召武裝反蔣，宣言奉汪精衛等爲領袖，歡迎其歸國護黨。
1929的9月24日，汪精衛與陳公博、王法勤、顧孟餘、陳樹人、陳璧君等幾人聯名發表《中國國民黨第二屆中央執監委員會最近對時局宣言》，宣佈發起討蔣戰爭，譴責蔣介石把持政權，摧殘民衆，排除異己的罪行，並列舉了蔣介石的10大罪狀，提出5項主張：改組國民政府，籌備召集“三全”大會，否認蔣介石“三全”大會後的一切決議案，否認蔣介石出賣國家利益的一切秘密文件，反對蔣介石發起的編遣會議等。聲稱：只有打倒蔣介石，才能熄滅戰禍。10月上旬，汪精衛由法國經香港回到廣州。
汪精衛依然以黨統維護者自居，打出“中國國民黨第二屆中央執監委員聯席會議”的旗號，自立中央。同時，汪精衛分別委任唐、石爲“護黨救”第四、五路總指揮，唐聯繫了閻錫山、馮玉祥及各地大小實力派頭目共同反蔣。
9月27日，俞作柏通電反蔣，在南寧就任“護黨救”總司令職，率兵攻打粵軍。11月間，張發奎聯桂系，組成“護黨救”共同討蔣，第二次蔣桂戰爭爆發。11月22日，黃紹竑與張發奎在梧州會晤，商定軍事合作。然後黃秘密潛回廣西，聯絡舊部，李宗仁、白崇禧亦先後返桂，李、白、黃在南寧成立“護黨救”總司令部，11月26日，設大本營於梧州，李宗仁爲總司令，下轄桂軍和張發奎部，合力會攻廣東。蔣介石增兵援粵，12月初，何應欽在廣州派軍向張桂軍進攻，張桂軍失利，敗退廣西，與進攻廣西的蔣軍輾轉苦鬥，直到廣州開非常會議，張桂軍才得喘息，南方的“護黨救國”戰爭一無所得。