石達開兵敗之後，並沒有立即退走，他這個沙場老將，意志力也是相當頑強的，勝敗乃是兵家常事，更何況他還有另外五路人馬能戰。很快，石達開再次糾集了五萬人馬，進攻衢州。這一次，石達開汲取上次兵敗的教訓，嚴肅軍紀，集中火器打殲滅戰。
衢州，是一座具有一千多年曆史的江南重鎮，一直是浙江、福建、江西、安徽四省邊際交通樞紐和物資集散地，素有“四省通衢、五路總頭”之稱，交通十分便捷。石達開沒能速戰速決，蘇、皖各省的援軍也很快到達。
石達開第二次攻城時，又遇到了清軍裡比較強悍的對手周天受。
周天受只率兵二三千人來援，但此時衢州兵力各路人馬雲集，已達兩萬人。
周天受節制徽州、浙江清軍，饒廷選會同策應，兩大悍將命令數萬清軍開浚城壕，密釘樁篾，架設火炮，鬥志昂揚。
石達開也準備打一場硬仗了，要啃掉這塊硬骨頭，他指揮重兵攻擊衢州城，同時在樟樹潭分三路包抄清軍營壘。
那天早上，晨霧還未散去，清軍的大將張騰蛟和饒廷選合兵迎戰石達開部。
石達開親自上陣，雙方一場激烈廝殺，血流成河，殺傷過當，但還是僵持不下。
這時，馮日坤悄悄率一路清軍抄石達開後路，林保率隊從旁衝入。
石達開冷不防清軍還有這兩支隊伍，他的大軍被衝成幾段，死傷慘重，不得不鳴金收隊。
此後數日，石達開多次圍攻衢州，都被周天受、江長貴所部清軍戰敗，寸步難行。
石達開圍攻衢州不利，於是決定改變策略，分兵深入，尋敵弱點，攻敵必救。
石達開派出部將石鎮吉以精銳數千，直取龍遊，以分衢州之兵。
周天受與石達開鏖戰多年，對石達開的流賊戰術瞭如指掌，他立即上奏朝廷，說“刻下衢州官兵雲集，石逆不得逞志於衢州，必將潛竄金、嚴等地”，請朝廷派兵支援。
可惜浙江官兵甚少，周天受雖識破石達開計謀，朝廷卻無兵將可調遣，勉強抽調滬勇400人駐紮安仁街，又調300民團駐守西龍寺。周天受大失所望，只好自己派部將明安泰率2000兵勇先石鎮吉數日入龍遊，嚴陣以待。
石鎮吉見周天受對石達開計劃洞然於胸，龍遊已經有清軍防守，於是臨時改變石達開部署，在龍遊佯攻數日，轉偷襲空城遂昌，稍後，石鎮吉輕取松陽、處州府城，兵鋒所指，浙中一帶無不惶恐。
雖然石鎮吉軍事上取得了勝利，但因爲違背了石達開的軍令，石達開並不高興，只是礙於戰事吃緊，沒有發飆。
此後數日，石達開又分兵攻佔常山、開化，與石鎮吉呼應，咄咄逼人。
清軍四處受敵，被逼入絕境。朝廷飛檄衢州江長貴、九江李定太、文瑞等援浙，稍後，曾國藩調湘軍悍將李元度率平江勇趕至滸津嶺救援。
這時，通過曾紀澤等人在安徽的戰鬥，曾國藩已經意識到湘勇和當地團練一起抗擊太平長毛的好處，曾國藩讓李元度請浙江團練助戰，充實軍力。
當地那些團練是當地人，熟悉當地環境，而且保家鄉特別賣力，湘軍如虎添翼，最終在祈門遏止住常山、開化攻來的石達開部的太平軍。
連日進攻，石達開部的太平軍很是疲乏，不得不進攻停頓，原地休整。不過，朝廷上層官員尤其滿洲貴族糜爛不堪，但科舉出身的中下級官員中，卻人才濟濟，救了滿清一條小命。石達開部的太平軍不斷遭到祈門知縣林用光所率團勇的襲擊，寢食難安，損失數千人。不得不再次撤退，李元度率部駐紮屏風關關口，這個關口十分險要，一夫當關，萬夫莫開。
石達開被太平軍一連串的失敗激怒了，他下令常山太平軍全軍盡出，和李元度的湘軍決戰！兩軍爆發空前血戰，長毛一改入浙來萎靡之風，勢如瘋狗，抵死不退，其時天降暴雨，李元度軍火器無用武之地，石達開親自上陣擂鼓助威，太平軍士氣大振，猛攻李元度部的營盤。
這一路湘軍精銳與4000太平軍展開慘烈近身肉搏，屍橫遍野，最終，殺紅了眼的湘軍在生力軍支援下慘勝。
就這樣，石達開的偏路軍受阻，沒有辦法，時間拖得越久，衢州的援軍只會越多，而一旦曾國藩的援軍趕到浙江戰場，到時候太平軍跑都跑不掉，石達開只好再次下令強攻衢州。
清廷在浙江督戰的耆齡，也不是昏官，他窺破石達開企圖，奏稱石達開攻取常山等地，不過欲分衢州兵力，他讓清軍主力釘死衢州，絕不可分周天受守衢州之兵，常山等地戰事由各省派遣援軍助戰。清廷納其議，調撥江南大營和春部將郭啓舉5000人增援常山開化，又調周天培等幾路人馬充實周天受的衢州守軍，合其他各路清軍，衢州附近與石達開激戰清軍精銳達到二萬七八千人，非但未分兵力，實力反更見雄厚。
石達開硬攻衢州的計劃落空，部屬死傷慘重。這時曾國藩讓蕭啓江、張運蘭、王開化部一萬七千餘人抓緊時間入浙江援助。石達開接到此消息，只好放棄了衢州，移兵攻下壽昌，繞道向杭州進發。
然而，石達開再次落入周天受算計，周天受命李定太率精選士卒7000人連夜偷襲石達開在壽昌的營壘，段光清也率黔勇來源，清軍三路圍攻石達開，石達開分兵拒戰，清軍數路並進，連斃太平軍將領多名，石達開部敗潰；清軍各營追逐，石達開拼死回撲，還是沒有成功。壽昌大敗，石達開圖杭、嚴道路徹底封死，石達開心灰意冷，決定從浙江全線撤退，轉戰福建，與部下楊輔清的部隊會師。楊輔清的隊伍趁着石達開部在浙江戰場牽制了清軍東南主力的時機，在福建開闢了數塊根據地。
石達開退兵到衢州城西南四十里處後溪鎮，將軍營設在當地一家鄉紳宅院裡，心情低落。當時石達開再娶了五個妻妾，生了幾個孩子，這宅子房屋不夠用，石達開隨從官員和侍衛親兵便分散在鎮上祠堂、商棧、民宅中辦事住宿。
時近秋日，夏日的餘威猶在，院中兩棵蔽陰的香樟樹枝葉紋絲不動，知了在樹上叫得人心煩。傍晚，石達開從前線督師回來，滿身大汗回到客廳，只是喊熱，小妾劉氏、馬氏趕緊過來爲他除去袍帽短衫，赤了膊，侍女端來一盆井水，絞了手巾把子，由馬氏替石達開擦了身，換上乾淨的白紡綢衫，然後與劉氏退了下去。另一名侍女切了一盤西瓜捧了進來，是用吊籃放在井中涼卻的，石達開的正妻黃氏陪他着西瓜，看他沮喪疲累的神色，關切地問：“今天又交了一仗吧？怎麼樣？”
石達開這時身邊並沒有太親近的將領議論戰事，內心的苦悶無處可訴，這時家人便是他戰鬥的最後動力，他隔了好一會才悶悶地對黃氏說道：“浙江的仗打不下去了，每次弟兄們拼命猛攻，眼見衝進去了，無奈妖軍狡猾，城裡又挖了一道壕溝，擋住了去路，重新又把缺口堵住了，倒是死傷了不少弟兄。我軍湖口大捷收復武昌的時候，所向無敵，一座座城池的收復，簡直不用打仗。爲什麼這回從安慶出師，在江西打得很吃力，到浙江來，幾萬大軍拿不下一座衢州城，究竟什麼緣故，我實在想不透。難道是我老了？本來我想打下浙江，讓你們娘倆過幾天安生的日子，看來還得要一段時間。我已下令退兵了，明天就退出浙江，你回去收拾一下。”
“啊？不去浙江，我們回江西嗎？”黃氏問道。
石達開嘆了一口氣，說：“江西回不去了，九江、撫州、建昌都被曾妖軍奪去，林啓容戰死九江，吉安城也被攻破，我決定去福建。”
黃氏問道：“福建那地方又苦又窮，去哪兒受罪幹嘛？”
石達開道：“福建那裡的妖軍兵力薄弱，楊輔清已在閩西北佔據了浦城、建陽等一大片地方，我們去了，有了立足的地方，兩部人馬加起來有十萬人，進可攻，退可守。那裡都是山路，閉關自守，曾妖頭也很難打得進來。讓部下在福建休養一個時期，再打到外省去。你不用多問，回去準備吧。”
山裡的天氣太熱了，黃氏沒有說話，軍國大事，本來也輪不到她這婦人操心的份，她徑直回裡屋去了，收拾好牀鋪，把孩子哄着睡着了，就解開衣裳，脫了個光，等石達開回房休息了。