國民會議召開前夕，二陳根據各黨部報上來的選情報告，得出的結論是：如果確要舉行總統選舉的話，全國各省市黨部，除了蔣介石一派控制下的浙江、江蘇、安徽一上海外，其他絕大多數選票都是支持胡漢民的。面對這種局勢，蔣介石十分焦急，他必須把胡漢民排除在外，單獨完成立法程序。蔣介石先是採用吳稚暉的建議，由吳去勸說胡，不要與蔣相爭，胡漢民不僅嚴詞拒絕，還痛斥吳是無恥之徒。一計不成，又生一計，蔣介石又採納戴季陶的計謀，決定關押胡漢民以震懾胡派分子。
2月28日夜，胡漢民參加完立法院會議後，乘車抵黃埔路中央軍校蔣氏官邸開會。來到府前，蔣介石的侍衛長王世和帶數名侍衛走上前，對胡道：“蔣總司令指示，今晚商談機密大事，衛士隨從均不入內。”
胡雖覺異常，卻也只得令左右在門外等候，隨後步入房中。進了客廳，見廳內坐着戴季陶、朱培德、吳稚暉、王寵惠、何應欽、葉楚傖、陳果夫、陳立夫、張羣等，都是蔣的親信。這時，國府秘書高凌百走過來，引導胡進入另一房間。
胡漢民走進室內，見室內端坐一人，他定睛一看，端坐之人是南京市警察廳廳長吳思豫。胡不覺一愣，這時，高凌百將一封蔣介石簽名加註的信遞給了胡漢民，拆開蔣介石的信，胡漢民越看越看，原來，信中歷數了胡的十大罪狀。總的說來有兩類：一是國民革命時期就勾結許崇智，運動粵軍，反對國民政府；二是身爲立法院院長，領頭反對訓政時期約法，挑起約法之爭。
看罷信，胡漢民又氣又急，要求蔣介石前來理論。約半個小時後，邵元沖走進來勸說，胡漢民才弄明白蔣的意思，只是要他辭職。對蔣介石失去信心的胡漢民，馬上表示自己不僅可以辭去立法院院長，甚至可以什麼都不幹。在幕後的蔣介石聽胡此說，立即來到前臺與胡漢民見面。
這時，胡漢民仍大罵不止，見蔣介石進來，遂怒斥蔣氏的無端指控。蔣介石聽畢，一言不發，並拂袖而去。就這樣，胡漢民被軟禁了，氣惱不過，一夜未眠。第二天一大早，胡漢民被押往湯山。於是，胡蔣鬥爭的第二個回合結束，蔣介石的強權政治戰勝了胡漢民的所謂民主政治。1931年3月2日，國民黨中央通過蔣介石提出的召開國民會議案，批准胡漢民辭去立法院院長職，由林森繼任。
3．再次下野
1931年3月8日，經過司法院院長王寵惠的勸說，由蔣介石本人批准，胡漢民被押解到胡在南京雙龍巷的私宅內休養，但胡不許離開一步，不許與外界任何人交往，不許打電話，警察廳奉命派了20名手槍隊員看守，宅內僅有胡的女兒胡木蘭和一年老女傭隨侍。
胡漢民原本有高血壓病，蔣介石的這番動作，使他突受驚嚇，血壓升高，孫科便派了鐵道部醫官鄧真德替胡看病。鄧乃廣東人，是孫之心腹，同胡漢民交情也很深。由於孫科的周旋，鄧得以治病爲由，見到了胡。鄧對胡講，孫科要其秘密問下一步如何辦，胡要鄧轉告孫科及王寵惠，務必在兩廣建立反蔣局面救他，甚至不惜與汪派合作。
鄧將胡之語轉告於孫科，孫遂暗囑馬超俊、樑寒操、王崑崙、鍾天心、陳劍如、麥朝樞、週一志等7人，密議救胡之計。由馬超俊出面，代孫寫了幾封密信，由王崑崙赴上海，鍾天心回廣州，麥朝樞、週一志去瀋陽，遊說各方反蔣勢力，共同反蔣。並囑周、麥二人路過天津時，順便把西山會議派拉回廣州。同時也要他們告訴汪精衛等人不要再反胡了，目標要一致。
胡漢民被蔣介石扣押起來後，想與汪精衛聯合，爲的是用他在國民黨中的歷史地位和影響，共同打擊蔣介石，避免蔣汪聯合，增加反蔣的阻力。
孫科的秘密反蔣活動，使蔣寢食不安，遂用手段拉攏孫科，設家宴請孫科吃飯。席間，宋美齡和蔣介石對他都十分熱情，孫科並不爲其言所動，只是虛情應酬。回宅之後，左思右想，感到自己現在在京，時刻有被蔣關押之險，遂於當夜離京到了上海。到上海後，孫科立即派樑寒操赴香港與汪精衛接洽，聯汪反蔣。
汪精衛自中央擴大會議破產後，一直苦於沒有出路，孫科的邀請，無疑讓他看到了重返政壇的希望。所以，他立即表示將即刻赴廣州，參加倒蔣。汪精衛到廣州後，對人說：過去我和胡先生的不和，都是上了蔣介石的當。蔣介石之所以能專橫跋扈，就是因爲我們不能團結。這回反蔣，一定要合作到底。即使萬一失敗了去跳海，也要大家抱在一起去跳。此次反蔣大聯合的“非常會議”，以胡漢民一派爲中心。
胡漢民及古應芬、陳濟棠等，只聯合汪精衛本人，對汪派的其他人，如：原改組派的陳公博、顧孟餘等，仍抱着算舊賬的態度，極力排拒。而西山會議派的一些人則更爲誇張，甚至有當衆謾罵汪精衛，故意與之爲難。爲此，汪精衛聲言要離開廣州，經孫科、李宗仁、覃振等勸慰，勉強維持下來。
這時候，蔣介石見孫科到上海組織各方力量反對他，心中愈加着慌，忙派了蔡元培、吳稚暉、張靜江、李石曾四位元老赴上海遊說孫科回寧，但沒有成功。
孫科沒赴寧見蔣，而在上海團結了各方反蔣勢力，從此身價大增。
在廣東各派的反蔣勢力中，古應芬最積極。古應芬與陳濟棠商定後，即拿着陳提供的鉅款趕到香港與汪精衛、唐生智、唐紹儀、李烈鈞等人聯繫。陳濟棠則與李宗仁、白崇禧取得聯繫，爭取他們共同反蔣。
4月30日，國民黨中央四監委古應芬、鄧澤如、林森、蕭佛成（時林、蕭尚在國外），以通電方式發表《強劾蔣中正提案》，歷數了蔣氏的罪狀。
5月1日，汗精衛亦發表“東”電，主張召集臨時全國會議，以解決一切問題。
5月3日，陳濟棠、李宗仁、白崇禧及張發奎、唐生智等聯名發表通電，擁護四監委的彈劾案，要求立即釋放胡漢民和蔣介石下野。
5月8日，廣東的陸海空軍將領黃任寰、張瑞貴、陳策、陳慶雲、黃光銳等也發表了反蔣的通電。
兩廣既然聯合反蔣，馬上拋棄宿怨，陳濟棠兵馬遂從廣西桂平、梧州一帶退回粵境，桂系四十三師黃鶴齡東下潯、梧接防。白崇禧、張發奎、葉琪、李品仙偕馮祝萬東下廣州，同陳濟棠等商談建立新的中央及兩廣軍事統一事宜。數天後，李宗仁也抵粵，接着，唐紹儀也到了廣東。
孫科見反蔣勢頭已起，便偕陳友仁、許崇智由滬赴香港，並叫親信張惠長帶走南京航空處的飛機多架，飛往廣州。
孫科等人到達香港後，立即到汪精衛的住所與汪舉行會談。三人進汪宅後，見白崇禧、張發奎等亦在室內。孫科見了，十分高興，遂向汪、白、張轉達了胡漢民反蔣之意。當天，6人便乘快車赴廣州。
就在反蔣各方勢力雲集廣東時，5月1日至2日，蔣介石在南京主持召開了三屆中央全會第一次臨時會議，中央執監委員43人出席，會議專門研究國民會議、制訂約法事項。會議修正通過了《中華民國訓政時期約法草案》、《全國一致消弭共禍案》等提案，以提交國民會議通過。5月5日，蔣介石又主持召開了國民會議，參加會議人員雖不足法定人數，法律程序雖不完備，而蔣介石執意如期召開。會議開了12天，通過了5項議案，中心議案爲《中華民國訓政時期約法》。在5月12日上午會議通過“約法”時，吳稚暉唸了三遍。最後宣佈通過，並把6月1日定爲法約公佈日。
1931年5月24日，孫科、陳友仁、許崇智、汪精衛、白崇禧、張發奎一行6人於下午4時抵廣州後。當天下午在陳濟棠家中，決定另立中央，成立政府，名正言順地同南京方面對抗。
由孫科聯合起來的反蔣勢力經過協商之後，決定效法孫中山當年在廣州召開非常國會護法的先例，發起國民黨中央執監委員非常會議，由非常會議產生的廣州國民政府，與南京國民會議產生的國民政府相對抗。5月27日，中國國民黨中央執監委員非常會議正式召開。會議否定南京的國民黨中央黨部的合法性，決定以非常會議出面發起召集第四次代表大會。會議決定，凡是國民黨第一、二、三各屆委員，只要願意反蔣，一律爲非常會議的當然委員。會議推舉鄧澤如、鄒魯、汪精衛、孫科、李文範爲非常會議常務委員。28日，由唐紹儀領銜，發表了一份國民政府成立宣言，宣告國民政府成立，聲言：因爲蔣介石犯有非法扣押胡漢民，違法召開國民會議，任用陳果夫、陳立夫等小人把持黨政等罪行，限定蔣介石在48小時之內下野。
這次會議推選唐紹儀、汪精衛、蕭佛成、林森、古應芬、孫科、李宗仁、蔣尊簋、陳濟棠、鄒魯、許崇智、鄧澤如、唐生智、李烈鈞、陳友仁等15人爲國民政府委員。國民政府不設主席，由唐紹儀、汪精衛、古應芬、孫科、許崇智爲國民政府常務委員，輪流擔任主席。5月30日，廣州國民政府委員聯名通電就職，進一步申明其堅決反蔣的政治主張。
廣州非常會議與廣州國民政府成立後，中國出現了寧粵兩個國民黨中央與寧粵兩個國民政府分庭抗禮的局面。廣東方面以護黨救國，實現民主政治及打倒獨裁爲號召，採用政治與軍事交替運用的辦法向寧方發動了強大攻勢，雙方陷入僵局。但正在此時，1931年9月18日，日本發動了侵華的九一八事變，各派又形成了共同抗日共赴國難的局面。
南京和廣東方面在謀求妥協，與此同時，汪精衛與胡漢民的裂痕在增大，而與蔣介石的距離日漸縮小。上海和會舉行前，南京和廣州方面通過交涉，蔣介石已被迫同意下野，胡漢民業已被釋放回到上海，古應芬、陳濟棠目的已達，對和談不再感興趣，汪精衛正好相反，非常熱心，孫科態度亦積極。非常會議推舉汪精衛、孫科、鄒魯、伍朝樞、李文範、陳友仁爲代表。當他們動身去上海開和平會議時，古應芬擺出一副送客出門的姿態，汪精衛則流露出此去不復返的神情，顧孟餘已先於汪精衛去上海與宋子文取得聯繫。總之，各種跡象預示汪精衛與粵方要分手了。
10月14日，胡漢民被釋放後，由南京前往上海。10月20日，汪精衛率100餘名粵方代表到上海。22日，蔣介石到上海，然後汪、胡、孫三人合影，表示從此團結起來了。但說歸說，做歸做，胡漢民覺得自己不可能再進南京，又不願意看到蔣汪合作。汪精衛想在南京和廣州合作後當行政院長，汪精衛指示其擁護者在下面散佈輿論，施加影響。胡漢民爲了擋住汪精衛，極力推舉孫科，由粵方提孫科爲南京政府行政院院長。胡漢民一心想回兩廣，對與寧合作取消極態度，主張和談中如蔣介石不作出讓步，就決裂，大家一齊回廣東去。和談結束後，寧粵雙方達成協議，要分別在廣州、南京開第四次全國代表大會，然後共同產生一個統一的中央。粵方代表們準備回廣州去開會，臨行的晚上，汪精衛的代表宣稱，得到汪精衛的指示，不上船回廣州了，在廣州和香港的汪派代表齊集於上海。
這樣，國民黨就開了三個第四次全國代表大會：1931年11月至23日，寧方蔣介石一派在南京開會；11月18日至12月5日，粵方胡漢民等各派在廣州開會；12月3日，粵方汪精衛派在上海開會。同年12月22日至29日，三個大會的中央委員，在南京開四屆一中全會，會議決定國民黨、國民政府改制，變集權爲分權。
四大召開後，胡、汪認識到，要對國民黨的權力重新分配，蔣介石必須下野，蔣介石此時也嚐到了政治倒蔣的厲害。他知道要瓦解反蔣陣營，首先就是要使他們失去共同敵人，然後他們自然就會陷入內部的爭鬥。12月15日，蔣介石辭去國民政府主席、行政院院長、陸海空軍總司令之職，通電下野。四屆一中全會，反蔣派取得多數職位，孫科任行政院院長。
1932年元旦，孫科內閣就職，但一就職他就陷於危機之中，最大的困難就是錢。江浙財團被蔣介石的勢力牢牢控制，政府每月收入只有600萬，而每月需要400萬元的辦公費，1800萬的軍費，透支1600萬，孫科根本無法承受。孫科想請蔣、胡、汪三人到京，以加強其政府的合法性，從而找到解決財政的對策，但三人均沒有迴音。胡漢民在前段時間被禁，已決定在廣州成立西南辦事處，同蔣抗爭到底。蔣、汪則相互勾結，企圖擠垮孫科內閣。
1932年1月28日，國民黨召開中央政治會議，決定改組行政院，由汪精衛出任行政院院長，宋子文出任副院長兼財政部長。3月1日，國民黨四屆二中全會在洛陽西宮東花園舉行。會議進行6天，主要任務是調整中央機構人選和決定蔣介石復職。在開幕式上，汪精衛以淞滬戰役緊急，需要集中指揮，提議蔣介石出任軍事委員會委員長。在會議的閉幕式上，中央政治會議又任命蔣介石爲軍事參謀部參謀總長。3月18日，蔣介石在南京正式就職。蔣介石在與國民黨內部反對派進行鬥爭的過程中進一步鞏固了自己的地位，爲其實現與獨裁鋪平了道路。