蔣介石一貫善於“以退爲進”的策略。蔣、桂、馮、閻四派打下北京、天津後，即於六月九日宣佈辭去國民革命軍總司令及軍事委員會主席的職務。他的辭職通電稱：“作戰目的完成之時，即總司令職權當然解除之日。中正本年二月（按：實是一月九日）復職之電亦經剴切陳明，一俟北伐完成，即當正式辭職，以謝去年棄職引過之罪。息壤在彼，尤蒙殷鑑。”蔣介石想師當年趙匡胤杯酒息兵權的故智，要馮、閻、李學他模樣，一律功成身退。故不惜登高一呼，自爲首倡。
蔣氏的辭職自然引起一片挽留之聲：首先是閻錫山、白崇禧從北京發出挽留的通電；其次是李宗仁從武漢籲請蔣介石留職；再次是何應欽從南京向廣州發電報，請李濟深出面挽留蔣介石，李濟深立刻響應。在一片挽留聲中，蔣介石卒於六月十七日聲言打消辭意，表示仍將對軍事負責到底。
蔣介石次一步驟，就是玩祭靈的把戲，其目的是要在孫中山靈前舉行裁兵會議。楊永泰（1880—1936，國民黨高級官員，蔣介石首席智囊，政學系巨擘。1912年任中華民國臨時衆議院議員並加入國民黨。1931年任軍委會秘書長。1936年10月25日在漢口碼頭被CC派暗殺。蔣介石稱其爲“當代臥龍”。）之能夠認識蔣介石，是蔣氏的把兄弟黃郛介紹的。楊永泰在蔣介石前阿諛逢迎，唯恐不至，而推測蔣氏的意圖，深透入微。楊永泰引用唐順宗時王叔文、柳宗元主張“削藩”的典故，對蔣介石提出了一項重要建議——《削藩策》，其要點是“軍事上化整爲零”、“財經上則化零爲整”。蔣介石看後十分欣賞，部隊“化整爲零”，這多麼好啊！以後蔣氏主張裁撤總司令、總指揮，部隊以師爲單位，就是以楊永泰“化整爲零”的觀點爲依據的。
計劃既定，蔣介石就授意國民黨中央常會於六月十四日作出決議，派蔣介石赴北京祭告並視察一切。六月十九日，蔣氏又示意國民政府決議，加推馮玉祥、閻錫山會同蔣介石前往北京孫中山靈前省視。四個集團軍總司令，而今唯李宗仁不與焉，蔣氏鄙薄李宗仁的心情，馮玉祥看得一清二楚了。因此，馮玉祥決定開蔣介石一次玩笑，於是在六月二十五日打電報給李宗仁，邀其一同前往北京參加祭靈儀式。這一來就使蔣介石變得十分被動了。
蔣介石怎麼辦呢？他爲了表示對李宗仁更加親熱，特於六月二十六日帶着吳稚暉、陳布雷、邵力子、陳立夫、程天放（1899—1967，五四運動知名領導人，後擔任國民政府的官員。1949年任國民黨中央宣傳部長，曾經擔任聯合國教科文組織代表。1950年，前往臺灣。1950—1954年爲國民黨逃臺後首任“教育部部長”。）、周佛海（1897—1948，中國早期領導人，爲建黨的一大代表之一，後成爲國民黨政府要員，再後淪爲汪精衛成立的南京國民政府的領導人之一，成爲漢奸。1948年2月28日因心臟病死於南京老虎橋獄中。）、吳思豫（1884—1958，早年加入同盟會員，1928年任南京國民革命軍總司令部辦公廳中將主任、國民黨參軍處參軍兼總務局局長，並暫代參軍長。1937年7月盧溝橋事變後，任軍委會銓敘廳中將廳長。1947年末，目睹蔣介石一意孤行發動內戰，遂產生脫離蔣氏政權的決心。1952年7月在天津定居，後加入民革。）等人，從南京乘軍艦逆流而上，邀李宗仁同赴北京。與此同時，政學系要員張羣、楊永泰則乘火車沿津浦線北上前往部署一切。七月一日，蔣介石、李宗仁抵鄭州，馮玉祥自新鄉來晤，蔣氏邀他一同北上，馮玉祥卻推託有事，稍遲前往。七月三日，蔣介石、李宗仁到達北京。蔣介石偕宋美齡住香山碧雲寺，李宗仁則住在集靈囿。七月六日，馮玉祥也到了北京。
七月六日，各集團軍總司令、總指揮在香山碧雲寺孫中山先生靈前舉行祭告大典，由蔣介石主祭，馮玉祥、閻錫山、李宗仁與祭，白崇禧、吳稚暉等陪祭。天津《大公報》故意突出白崇禧，在是日該報發表的社評《今日碧雲寺的祭告大典》中，以崇敬孫中山的辭藻來頌揚“蔣、馮、閻、李、白諸公”。白崇禧看了，心中更爲得意。回顧三年前廣西統一時，白崇禧不過是李宗仁的參謀長，隨而升任蔣介石的參謀長，而今在新聞界心目中，他已能與馮玉祥、閻錫山平起平坐了。躥起之速，世所罕見者。
七月六日下午，北平臨時政治分會宣告成立（是時北京已改稱北平）。該會成員是六月二十五日由中央政治會議臨時會議決定的，以李石曾、馮玉祥、閻錫山、張繼、鹿鍾麟（1884—1966，1922年任馮部第八混成旅旅長，後升任師長兼北京衛戍總司令。1924年參加北京政變，指揮驅逐清廢帝出宮。1926年五原誓師時任國民軍聯軍總司令部參謀長。之後奉命赴蘇考察。抗日戰爭期間，曾任國民黨政府兵役部部長、河北省政府主席等職務。）、趙戴文（1866—1943，同盟會員，國民黨員，堅定的愛國者。閻錫山的軍師、宰相。官至山西省政府主席，國民政府內政部長、監察院長。民國以後的山西軍政兩屆出身的人物無不是他的學生。趙戴文一生著述頗豐。）、蔣作賓（1884—1941，著名國民革命軍陸軍上將。蔣作賓滿懷憂慮，兩袖清風，是公認的“清官”。他無一不良嗜好，不抽菸，不喝酒（宴會時喝少量啤酒），不打牌，不進戲院看戲（政府及集團活動除外），只喜歡散步，故曾有“散步大使”的綽號。1941年病逝於重慶，1943年追贈爲一級陸軍上將軍銜，國民政府明令褒揚。1983年重慶市人民政府曾修葺其墓。）、白崇禧、馬福祥（1876—1936，回族。1928年春，國民黨二中全會上被選爲中央執行候補委員和國民政府委員，後歷任國民政府青島市市長，安徽省主席，蒙藏委員會委員長等職。）爲委員。今日委員閻錫山、白崇禧、馬福祥、鹿鍾麟、蔣作賓宣誓就職，馮玉祥辭之不就，表明蔣、馮之間的關係很不愉快。
七月六日晚，蔣介石在碧雲寺旁李石曾宅開座談會，馮玉祥、閻錫山、李宗仁、白崇禧、吳稚暉等參加。會上各人面前發了蔣介石七月五日給各總司令、總指揮發的通電，電文有云：“今日非裁兵無以救國，非厲行軍政、財政之統一無以裁兵。我同志必當以真正之覺悟與全國人民切實合作，以完成此重大的職責。中正尤當竭其綿薄，與我同志共勉之。”
此外，會上還散發了蔣介石提出的《軍事善後案》，它主要是說，軍政告終，訓政開始，養兵太多，開支太大，有礙經濟建設。現在全國有三百個師，準備裁汰二百五十個師，留下五十個師，每師一萬五千人，全國共留八十萬人。保留的五十個，準備每集團軍留八師至十師，中央另建憲兵十師。總而言之，這是強幹弱枝的裁兵方案。按照這一方案，蔣介石至少可以控制二十個師。他的動機如何，已經明若觀火。
白崇禧看了《軍事善後案》，覺得蔣介石急於求成，必致嚴重後果。他自恃做過蔣介石的參謀長，應本知無不言，言無不盡之義，勇於發表所見，以備參考。於是白崇禧即席發言說：“第一，我不反對裁兵。但自古以來，‘裁兵不難裁將難’，如果處置不當，糾紛立起。歷史教訓，值得重視。第二，我們國家幅員遼闊，邊疆資源尚待開發。當前與其倡議裁兵，何如實施總理之兵工政策，使之實邊。第三，如果在我國邊疆成立若干軍區，讓各部隊去從事開發工作，不但可減輕國家財政的負擔，且可安置北伐有功的將領，使他們負起國家建設的重任。”最後，白崇禧說，他是一個回族後裔，對西北地區有地利人和的方便條件。如果中央有實邊這樣一個宏偉計劃，他自願帶廣西子弟三五萬人前往新疆，爲開發邊區作出貢獻。白崇禧的話，蔣介石根本聽不進去，因而未能起任何作用。
到七月十一日，又開始兩天的湯山會議。七月十三日，李濟深、戴季陶到達北平，蔣介石更進一步地提出了他精心炮製的《軍事整理案》，該案歸納起來有下面基本內容：一、取消各集團軍總司令部，成立全軍編遣委員會，作爲最高機關；二、選各集團軍精銳編成五十至六十師；三、全隊統一編制，打破原建制，輪換訓練。蔣介石說，本案吸收了在座各位的一些意見，實際上是指混編、輪訓的辦法，是馮玉祥提出來的。而馮氏所提保留總司令、總指揮的名義以資安置有功的將領，因爲不合蔣介石的胃口，蔣氏就不予理睬了。
後來蔣介石推說先返南京籌備召集五中全會，就留李濟深代行總司令職權，繼續與各總司令就裁兵問題繼續進行磋商。七月二十八日，李濟深離北平南下到南京參加五中全會。白崇禧還寫一封信託李濟深交給蔣介石，重申裁兵不如實邊更能適合國家實際情況的意見。他在函中建議劃分全國爲中央、東北、華北、西北、西南、華中六大軍區，各軍區之編制、人事任免、政治訓練及軍事教育方針，一概受命於中央，如此先建立各軍區間之互信，然後樹立共信，則軍隊一定可以國家化，蓋可斷言。此函去後，如石沉大海。李濟深是否轉給蔣介石，迄未可知，因白崇禧自“武漢事變”後，即匆匆離平南下，以後見過李濟深，因時過境遷，也沒有提起此事。
八月三十日，蔣介石從南京電白崇禧，要他出兵冀東，徹底解決踞灤河的張宗昌直魯軍殘部。此時瀋陽與南京之間，正信使往還，洽商東北易幟問題。而張宗昌發出通電，聲言引兵出關，阻止統一大業。白崇禧以解決張宗昌部，亟須與東北軍通力合作，特先後派何千里、葉琪赴沈晤張學良，商合力解決張宗昌殘部問題，結果得到張學良的首肯，派兵入關協助，九月下旬灤河一戰，直魯殘部全被解決，張宗昌倉皇出走，僅以身免。後白崇禧電告李宗仁，請建議中央確定一九二八年九月二十三日爲北伐完成紀念日。但此議卒爲蔣介石所否決。
蔣介石在八月八日至十五日召開的五中全會中，悍然通過了取消各集團軍的決議，並極力堅持取消政治分會。馮玉祥、李濟深據理力爭，以爲四中全會曾經做出決定，地方政治分會應保存到第三次全國代表大會召開之時。現在取消，正違反了四中全會決議。蔣介石自知理屈，只好同意保留到“三全大會”召開之時，但是他提出：政治分會權力要加以限制，規定政治分會無權任免境內地方官員。這是蔣介石積極推行其“削藩策”的體現。
白崇禧此時唯望蔣介石能接納他的忠言，把裁兵改爲實邊政策。他認爲邊疆實大有可爲，當他在保定軍校三期學習時，側重閱讀邊疆問題的書刊，與同學交換意見，亦以邊疆問題爲中心問題。人以“邊疆問題專家”呼之，不以爲謔。白崇禧常說，一九二八年打下北京、天津以後，爲國民黨盛衰存亡的關鍵時刻，如果蔣介石聽他的話，此時不談裁兵問題，而且注重開發建設邊疆，則一九二九年以後的連年內戰無從發生，既沒有一九三〇年的中原大戰，而“九一八”事變亦可以倖免，是知內憂外患，相繼而來，完全是裁兵有以致之，語云：“禍福無門，唯人自招。”看到蔣介石自招其禍，足資借鑑。