王闓運來到曾紀澤的大營，讓他派人幹掉恭親王和慈禧。
曾紀澤問道：“肅大人什麼意見？”
王闓運說：“肅相過於仁慈，拿不定主意。”
曾紀澤沉默了一會，思考片刻，說：“我們不能學長毛的北王韋昌輝，不要被人利用。肅大人如果沒有下定決心，我們發難的時機還沒到。至少要等湘軍拿下安慶！”
而在安慶戰場，此時戰鬥也正很激烈。曾國藩爲了應付咸豐皇帝東進蘇州和常州的聖旨，將自己的大營置於危險的祁門，並且不顧李鴻章等幕僚的反對，始終不肯離開祁門。這讓他再一次遭遇生死劫！
爲了鞏固祁門的東面邊防，曾國藩命好友李元度帶三千平江勇前往駐守徽州。徽州府是安徽一個歷史悠久的名城，又是皖南五府州的經濟中心，歷來以牌坊衆多、石雕精美聞名於世，城內匠人制的紙、筆、墨、硯，最受讀書人看重，尤其是徽墨，與湖筆、端硯、宣紙並稱，號爲文房四寶中的佳品。一般都是朝廷要員把守，都察院左副都御使張芾在徽州駐防六年，上個月奉召回京。作爲兩江總督的曾國藩便讓李元度補這個肥缺。
曾國藩之所以如此重用李元度，是有愧於李元度，想補償他。咸豐四年起，李元度就跟隨曾國藩南征北戰，功勞不小。尤其是咸豐五六年間，曾國藩在江西處於困境時，李元度回家募集平江勇，和他患難與共。
但復出前的曾國藩沒有保李元度一個正式官職，李元度心中不滿。曾國藩回籍守喪後，杭州知府王有齡利用李元度的不滿，和他拉上了關係。羅遵殿死後，王有齡升任浙撫，保李元度爲溫處道道員，想拉他去浙江。
看見朝廷發來的諮文，曾國藩才知道這事，他把李元度召到祁門，告訴他王有齡此舉分化湘勇而李元度投靠王的門下，也有背叛湘勇之嫌。
李元度意識到問題的嚴重性，又見曾國藩已實授江督，於是答應不去浙江。曾國藩奏請朝廷改授李元度爲安徽徽寧池太廣道道員。上諭批下來後，李元度便把平江勇帶到祁門，作爲祁門老營的拱衛之師。
曾國藩很欣慰，對李元度說：“徽州乃皖南大城，又是祁門的屏障，長毛打徽州，是想衝破這道門，竄進祁門，守住徽州意義重大。張副憲防守徽州幾年，雖說沒有打什麼勝仗，但也沒有丟失，你千萬不要把它丟了。”
“放心，有平江勇在，徽州城決不會缺一個角。”李元度拍着胸脯保證。
曾紀澤走後，李鴻章在湘勇裡談得來的好友就只有李元度，他十分了解李元度，他對曾國藩讓李元度獨自去守徽州表示強烈反對，他對曾國藩說：“恩師，李次青這個人雖然學問好，但根本就不會打仗，好比三國的馬謖，當個幕僚可以。讓他去守徽州，肯定會出事。他帶兵太過寬厚，士兵違反紀律也不忍心按軍紀處罰，是故他的平江勇士兵們不太遵守紀律，戰鬥力也就不強。他並非大將之才，不堪此重任！徽州一丟，祁門大營就危險了。”
曾國藩念及舊情，回答李鴻章說：“我這是在給次青機會。他總是感覺自己不受重用，是時候讓他獨當一面了。”
不過，曾國藩在李元度臨行之時，也不放心李元度，向他面授機宜：“你到徽州後迅速堅壁清野，一旦太平軍來攻，就憑藉牢固的防禦工事與他們周旋，切不可貿然出戰。切記！”
李元度心裡大不悅，他願意爲曾國藩要重用他，沒想到只是讓他去徽州當縮頭烏龜！他對曾國藩說：“平江勇也是身經百戰的，長毛中的石達開部我們也打敗過。區區幾個毛賊，不足爲慮。”
“次青，一定不要輕易出戰。你到徽州後，切莫自視過高，師心自用。而且要令行禁止，爲統領者切忌朝令夕改”曾國藩再次叮囑。
李元度卻一句也聽不進。曾國藩的話還沒說完，他便拍着胸膛說：“不必多說了，我立個軍令狀吧，徽州府倘若丟失，你唯我是問！”
不久，李元度率部來到徽州府城。很快，太平天國的侍王李世賢就率部對徽州發起猛烈攻擊。
李元度剛開始還能沉住氣，堅壁清野，死守徽州各城門，李世賢部傷亡慘重。
李世賢知道李元度不是一個沉穩的人，於是想方設法激怒李元度，引誘他出城決戰。李世賢每天派100名士兵去城下罵“平江勇是縮頭烏龜”。
到了第三天，李元度果然上當，違背了當初曾國藩給他制定的戰略方針，主動出城作戰，結果剛一交戰，就被李世賢的伏兵攻擊，大敗而歸。徽州城很快落入了太平軍之手。
李元度在亂軍之中倉皇逃出徽州，他這個人書生意氣，比較重面子，打了大敗仗的他拉不下臉前往祁門找曾國藩，於是四處晃悠。
曾國藩得知徽州失守後非常着急，因爲徽州是祁門的東大門，徽州失陷，意味着祁門將直接面對太平軍的攻擊。曾國藩又爲老友李元度的安危擔憂，他一旦有事，曾國藩都感覺不好跟李元度八十多歲的老母親交代。
曾國藩也沒時間多想，徽州失守，祁門變成了前線。此時祁門的兵力，僅張運蘭的老湘營一部分及康福的親兵營，合起來不足三千，情形十分危急。曾國藩一面佈置張運蘭、康福率兵扼守距老營十里外的櫸根嶺、羊棧嶺，這是由東北方向進入祁門的兩道關口。一面派出兩隊人。一隊向南通報駐紮在浮樑、景德鎮一帶的左宗棠，務必保護好祁門通往江西的大道，徽州失後，這便是祁門糧餉、文書的唯一通道了一隊向寧國方向奔去，沿途尋找鮑超，要他火速來祁門救援。
李元度在外邊晃悠了二十多天後纔回到祁門。
“男子漢大丈夫，從哪裡跌倒就從哪裡爬起來！打敗仗怕什麼？被人打倒了，重新站起來就是了！你逃避責任這算什麼呢？”曾國藩見到李元度，不顧朋友之情，當衆將他痛罵了一頓。
李元度哪裡受得了這樣的痛罵，一氣之下就擅自離開祁門回湖南老家去了。
李元度是立了軍令狀的，他違抗了曾國藩讓他堅守徽州的命令，爲了嚴肅軍紀，曾國藩找來李鴻章，讓他起草彈劾李元度的奏章。
李鴻章擅長處理公文，曾國藩這一時期的奏疏，基本上都是李鴻章代筆。
當初，曾國藩命令李元度率部防守徽州的時候，李鴻章就堅決反對。這時，曾國藩命他起草彈劾李元度的奏摺，李鴻章拒絕了，對曾國藩說：“徽州之敗，不是次青的過錯。李世賢有十萬精兵，而次青只有三千兵，失敗是必然的。恩師以信義和恩德號召天下，次青是老師的救命恩人，恩師應該再給他一次機會，鴻章不敢擬稿。”
“你們這都一個個自以爲是了！”一聽李鴻章這話，曾國藩更氣了，他一把推開李鴻章，拿起筆墨紙硯，厲聲對李鴻章說道：“你不寫，我親自寫！”
一向在曾國藩面前畢恭畢敬的李鴻章，這時的倔驢脾氣也上來了，他對曾國藩說：“恩師執意要這麼做的話，那麼學生也不想再侍奉老師了。”
曾國藩擺擺手，不耐煩地說：“隨你的便。”
“難以理喻。”李鴻章就這麼負氣離開了曾國藩幕府，跑去江西他哥哥李瀚章那裡訴苦。
這一下，曾國藩對李鴻章的出走特別生氣，覺得李鴻章不可以共患難，沒有立即找人把他找回來。
。