白崇禧解南寧之圍後，即派他舊日的參謀長張定璠去上海觀察南京政府動態。張定璠在北伐時做過總司令部參謀處長，並且曾任上海市長。他與寧府軍政界人緣很好，而觀察力又極爲銳敏，所以他在上海，成爲白崇禧的耳目。
據張定璠給白崇禧先後發出的情況分析，馮玉祥、閻錫山於中原大戰失敗以後，蔣介石和胡漢民的矛盾就突出地表現出來了：蔣介石拉胡漢民原來全爲倒桂，桂系一倒，胡氏就失卻利用價值。此外，胡漢民對蔣介石的一些人事安排和作風也有牴觸情緒。主要的如：
一九三〇年秋，張學良幫蔣介石率兵入關，使馮、閻前後受敵，不戰而敗，擴大會議散夥。十一月中，張學良到南京見蔣介石。蔣氏封張學良爲陸海空軍副總司令，並任東北一些大員當國民政府委員，事前徵求胡漢民的意見，因爲那是蔣、胡合作時代。
戴季陶、吳稚暉對胡漢民說：“介石示意，現在要與漢卿合作，非這樣辦不可。”
胡漢民說：“政府不應該用這種拉攏的卑鄙手段，自己做鄭莊公，把別人當公叔段。過去把這種手段用於馮、閻，我已經反對，現在又用來對漢卿，我也當然反對。主要是國家名器不能這麼濫給人。”
過了幾天，王龍惠去看胡漢民，王氏說：“爲了胡先生反對把幾個委員和部長給漢卿，介石發憤要辭職了。這是石曾、稚暉說的，他們要我轉告你。”
胡漢民說：“我們愛惜國家名器，行政治軍用不得這種卑劣手段。”談話卒無結果，蔣、胡矛盾就是從此發展起來的。
張定璠告訴白崇禧，好戲還在後頭，要他靜候其發展。因爲胡漢民的基礎在廣東，蔣、胡關係惡化，廣東一定會出現一個新的局面。
後來，蔣介石在一九三〇年十一月召開的國民黨三屆四中全會中通過一項決議：定民國二十年（一九三一年）五月五日召開國民會議。胡漢民知道蔣介石欲利用國民會議來制訂約法，又借約法來做總統。胡漢民在一九二七年“四一二”清黨以後，原任國民政府主席兼軍事委員會主席，以爲總統非他莫屬，這樣胡氏因反對蔣介石做總統從而反對約法。
蔣介石爲了說服胡漢民，一九三一年二月二十四日在他的官邸召開一次會議，僅蔣與胡漢民、戴季陶、吳稚暉、張羣參加。會上，胡氏以爲當時軍權高於一切，法律不能發揮其效用，不主張馬上有約法或憲法，並在發言中暗指蔣介石是“目無法紀的軍閥”。是可忍，孰不可忍。四天以後，即二月二十八日，蔣介石就以請客爲名，邀胡漢民到他的總司令部晚餐，待胡氏到達後即予扣留，解往湯山監禁。
胡漢民一被監禁，寧粵之間就掀起一場政治大風暴。李宗仁、白崇禧侷促南寧，一籌莫展的困境又出現了新的轉機。
胡漢民的軍師古應芬，看到蔣、胡分歧日深，遲早要出事。二月，他乞假去滬，就在那裡待下來。及聽到胡漢民被扣，他即派親信鄧召蔭在安樂酒店設立機關，策動粵籍南下廣州反蔣，隨乘外輪離滬赴港轉粵，與陳濟棠研討反蔣大計。
古勷勤（古應芬）原與陳伯南是拜把兄弟，一向私交甚篤，在政治上，陳伯南唯古應芬馬首是瞻，言聽計從。蔣介石聯胡倒桂，也是看在古、陳兩人的關係上，明眼人都看得一清兩楚。蔣介石沒有及時地把古應芬抓起來，是他最大的失策。
古應芬說服陳濟棠反蔣，毫不費力，問題在如何把廣東省政府主席陳銘樞爭取過來，陳真如（陳銘樞）對蔣介石盡忠，毋庸懷疑，故勸他反蔣，實非易事。後來，古應芬去找陳真如的老友黃居素問計。黃氏也主張慎重，不如先造就既成事實，然後再逼他加盟。後來事機不密，卻讓陳銘樞跑掉了。
古應芬、陳濟棠決定把爭取陳銘樞的問題暫時擱下，首先派人去廣西聯繫。四月二十二日，廣東派馬曉軍、吳錫祺來到南寧，要求釋嫌修好，共同反蔣。廣東派這兩個人做代表是經過縝密考慮的，馬曉軍是白崇禧在模範營時代的長官，而吳錫祺則是第四軍的老幹部。舊友重逢，一談就攏。
四月二十五日，廣西派總政訓處長王公度、第四軍第十二師師長吳奇偉爲代表到廣州報聘，表示願意合作反蔣，提出必須製造輿論，以期擴大政治聲勢。對此，古應芬、陳濟棠均表贊同。
四月三十日，廣州發出國民黨中央監委鄧澤如、林森、蕭佛成（1862—1940，國民黨政要。生於旅居暹羅（今泰國）的華僑家庭。1908年建立同盟會暹羅分會，當選爲會長。抗日戰爭爆發後，返回暹羅僑居。）、古應芬四人彈劾蔣介石的通電。電文指出：“澤如等回溯蔣氏平日之行事，乃至最近之措施，無一不以個人地位爲前提，而置黨國大計於不顧。其廣植黨徒，利用小丑，則預爲一己選舉地也；其把持財權，任意揮霍，則以鞏固一己的武力也；其傾害同儕，排斥先進，則使一己之勢力更張也。總之，觀蔣氏之罪，至今已暴露無餘，同志等夙昔之休容，冀其翻然悔悟，戮力國事者，至今亦成絕望。循此以往，則總理艱難締造之事業，人民爲革命無數之犧牲，以及我武裝同志積年之奮鬥，其結果只造成蔣氏個人之地位，而以陰賊險僞之人，然民上，中國數千年固有之道德，總理所方圖恢復者，已供其斷喪無餘，騰笑萬邦，見譏後世，天下痛心之事，孰有甚於此者！觀察今日中央已爲蔣氏所支配，忠實同志，已被其武力劫持，政府被其一系所割據，政治日益窳敗，爲人民所厭惡。澤如等誠不忍黨國與之偕亡，職責所在，更難緘默，古人有言，心所謂危，不敢不告，用亟列其罪端，提出彈劾，以俟公決。唯愛護黨國同志，急起圖之。”
這是廣東反蔣的第一聲。第八路總指揮陳濟棠和廣東陸海空軍將領從五月三日陸續通電響應，反對蔣介石。
陳濟棠爲了表示聯合廣西反蔣的誠意，將駐在貴縣、桂平、梧州一帶的粵軍撤回廣東。李宗仁、白崇禧派黃鶴齡的第四十三師前往接防。
蔣介石主持的國民會議仍依期於五月五日召集。蔣氏還以國民會議的名義指桑罵槐地把陳濟棠、香翰屏、餘漢謀、李揚敬譏評一通，如國民會議刪電雲：“自來軍閥倡亂，動託兵諫之名，卒之不接踵而亡。自李（宗仁）白（崇禧）張（發奎）以迄閻（錫山）馮（玉祥），往事不遠，可爲洞鑑。幸懍懸崖之危，勿貽噬臍之悔，何去何擇，唯執事自首。”陳濟棠當然不予理睬。
不久，陳濟棠派李濟深的親信、原廣東財政廳長馮祝萬來南寧晤李、白，商廣州組府的人事佈置問題。李宗仁、白崇禧、張發奎協商結果，以汪精衛自北平擴大會議失敗以後，在香港息影多時，這一次應請他出來參加領導，以廣號召。當決定推白崇禧、張發奎赴粵提出此項意見。
白崇禧、張發奎五月二十日到廣州，與古應芬、陳濟棠商爭取汪精衛合作問題。古、陳同意爭取汪精衛，唯不吸收汪派，蓋一九二七年十一月十七日粵變所造成的慘禍，粵人記憶猶新也。
白崇禧和張發奎五月二十二日到香港訪汪精衛，請其赴穗參加組府反蔣。回顧一九二九年冬護黨救的組成，完全得自汪精衛的倡導，有了這一段歷史淵源，所以舊調重彈毫不費力。汪精衛對白崇禧說，孫科派樑寒操來晤，說他不日可到，我們等他來一同發動。
胡漢民被蔣介石扣留後，血壓一會兒高到一百九十度，後經孫科向蔣介石說情，才準胡於三月八日從湯山搬回南京雙龍巷私宅休養，唯仍等於軟禁。後孫科去上海，特電蔣介石雲：“粵籍中委紛紛離京南下，誠爲胡展公抱不平而起，科意今日第一要務爲完全恢復展公自由，則此後各事自易解決。”蔣氏不復，唯派吳稚暉、蔡元培到滬晤孫科，請其赴粵調停，勸勿擴大事態。孫佯允之。
五月二十四日，孫科偕陳友仁、許崇智自上海抵港，一到即去汪精衛寓所訪汪。時適白崇禧、張發奎正在汪宅，遂相與會商在廣州組府的程序問題，他們的思想早有準備，所以一談就攏。當天中午，汪精衛、孫科、白崇禧、陳友仁、許崇智、張發奎一行六人乘快車去廣州，四時到達，即往陳濟棠的總部開會，決定另組中央，與南京對抗。二十五日，由廣州發出唐紹儀、汪精衛、孫科等人的通電，要求蔣介石在四十八小時內下野。二十七日，中國國民黨中央執監委員非常會議在廣州召集，決定成立國民政府，以唐紹儀、汪兆銘、蕭佛成、林森、古應芬、孫科、李宗仁、蔣尊簋、陳濟棠、鄒魯、許崇智、鄧澤如、唐生智、李烈鈞、陳友仁等十五人爲國民政府委員。三十日，國民政府委員通電就職，揭示“以建設謀統一，以均權謀共治”兩義宣告國人。白崇禧赴粵的任務至是完成。