曾紀澤之所以要帶李鴻章去安徽合肥招兵買馬，是因爲安徽合肥是李鴻章的老家，他的親朋好友都在那裡，李鴻章在曾國藩府上待了幾年之後，爲人更加成熟，名聲自然在外，很多人都知道有李鴻章這號人物。加上曾國藩收復安慶，安徽團練對曾家軍無不刮目相看，聽說曾國藩的兒子曾紀澤親自來招人，沒有費多大心力便卓有成效。安徽當地那些兵勇也是一呼百應，紛紛聚集到曾紀澤的手下。
曾紀澤的幕僚，除了李鴻章，還有王闓運。王闓運勸說肅順幹掉慈禧失敗後，就對他失望了，在曾紀澤北上勤王那段時間，他對曾紀澤的野心刮目相看，投在他的門下。
曾紀澤還帶王闓運到安慶去見曾國藩，勸說曾國藩自立，但也失敗了，便繼續輔佐曾紀澤。
在王闓運和李鴻章的幫助下，曾紀澤將合肥西鄉里的一些比較有名的團練都聚集在一起，這些比較有名的民辦團練負責人有周公山下的張樹聲、張樹珊兄弟，大潛山北的劉銘傳，大潛山西南的唐氏兄弟，紫蓬山的周氏兄弟等。除此之外，還有解先亮、葉志超等人領導的官辦團練。而在這些團練中，最善於打仗的是張氏兄弟、劉銘傳和周氏兄弟的三支。曾紀澤對這些人很滿意，尤其是豪氣干雲的劉銘傳、張樹聲，覺得和他們意氣相投。
張樹聲也是曾國藩讓曾紀澤重點關注的人才。張樹聲聽說李鴻章輔佐曾國藩，曾寫信給曾國藩表達過自己的豪情壯志，說他有意和周氏兄弟、劉銘傳一起做出點驚天動地的大事，請曾國藩加以指導。
曾國藩看了張樹聲寫的信後，對曾紀澤說：“張樹聲此人，觀其言，察其行，就好比渡江北伐匈奴的東晉名將祖逖。”
由於張樹生的年齡在這三支團練的領導人中最長，因此他是其他兩人的大哥。所以張樹生對曾國藩表示了投效之意後，大家也都紛紛表示贊成。
曾國藩通過寫信或派人聯絡等辦法，徵召廬州一帶舊有的團練，給曾紀澤打下來良好的基礎。
曾紀澤在安慶召集的團練中，最早編練的就是張樹生統率的樹字營和劉銘傳統率的銘字營。不久之後，周氏兄弟的盛字營和李鶴章招募的人也紛紛聚集在曾紀澤的手下。至於李鴻章的學生潘鼎新、吳長慶，他們的隊伍則分別被編爲鼎字營、慶字營。
由於多方的配合，在短短的兩個月之內，曾紀澤就成軍數營，曾紀澤給他們配上了洋槍和開花炮，加上之前先練的洋槍隊和洋炮隊，二十三歲的曾紀澤獨當一面指揮的隊伍，成了湘軍當中的精銳。
不久，曾紀澤和李鴻章所募淮勇陸陸續續抵達安慶，其中有張樹聲的樹字營，劉銘傳的銘字營，潘鼎新的鼎字營，吳長慶的慶字營等。其中，除了樹、銘、鼎、慶等四營外，還有張遇春統領的春字營，它屬於李鴻章在皖北辦理團練的舊部，現在重新歸李鴻章指揮。
樹、銘、鼎、慶等各支隊伍在安慶聚集之後，曾國藩按例提出要接見這些團練的頭目。一來給曾紀澤的隊伍打打氣，二來觀察一下這些淮勇將領，他善於看面相。
曾紀澤很高興，率領部屬駐紮在安慶北門城外，親自帶劉銘傳和張樹聲等人進城裡見曾國藩道賀。
當張樹聲和劉銘傳等十幾個主要團練負責人來到曾國藩的大廳之後，曾國藩躲在屏風後面一直不出來，卻暗中觀察各人的反應。
張樹生反應最平淡，面無不悅之色，低頭喝茶。
“這個曾國藩，是不是官做大了，給我們擺起譜來了。”而劉銘傳則早已喪失耐心，道。要不是看在曾紀澤的面子上，依照自己的倔脾氣，劉銘傳早就破口大罵了。
經過一番觀察，曾國藩認爲張樹聲和劉銘傳都是不可多得的將才，因此出來與他們見面後，說：“諸君皆人傑也，今日之會，天其有意致中興乎？”
於是，曾國藩讓曾紀澤特別留意張樹聲和劉銘傳，還留他們一起就餐，在餐桌上暢談用兵的方法以及怎樣鎮壓太平軍的計劃。
曾紀澤招來的人馬大部分是新勇，缺乏實際的作戰經驗，而且人數相對李秀成的三四十萬大軍來說也不多，保護上海是備顯艱難。
李鴻章不想去上海送死，因此他向老師曾國藩訴說了這些困難，並且懇請曾國藩調撥數營湘勇，以增強戰鬥力。
曾國藩考慮一段時間之後，答應了李鴻章的請求，陸續給曾紀澤和李鴻章調撥了湘勇八營。這八營湘勇，包括曾國藩的兩營親兵，由*曾紀澤親自統領，充當曾紀澤的親兵；還有借自曾國荃的兩營湘勇，歸程學啓統帶；由滕嗣林、滕嗣武統帶的林字兩營，原爲江蘇巡撫薛煥在湖南招募，經曾國藩篩選千人，編入淮軍；還有陳飛熊統帶的熊字營、馬先槐統帶的垣字營，這兩營湘勇原本是曾國藩在湖南召集而來，歸陳士傑統領，但是由於陳士傑不願前往上海，因此這兩營兵勇撥歸淮軍。就這樣，曾紀澤帶去上海的軍隊一共15個營，共有9500人。
從此以後，曾紀澤有了一支屬於自己領導的武裝，從此名正言順登上了歷史的舞臺。
曾紀澤組建淮軍，雖然在曾國藩的支持下比較順利，但是也遇到了很多困難，比如軍心不穩；糧餉不夠，但總的說來，淮軍的建立對於曾國藩來說是利大於弊，它不僅壯大了湘軍的力量，還讓曾紀澤擁有了兵權，並且對鎮壓太平軍、捻軍等都起到了很大的作用。
曾紀澤想過這支軍隊的名字，因爲大部分是安徽人，還是按照習慣叫淮軍，叫什麼並不重要，重要的是爲他所用。
而且淮由湘出，湘軍和淮軍有着基本的一致性，特別是營制餉章、編制訓練，它們是一脈相承的。並且湘軍和淮軍只聽從曾國藩或者曾紀澤的指揮，完全成爲了“曾家軍”，其他省區的將帥根本無法指揮調動，即使是清廷也不能直接調遣。
不過，曾紀澤帶軍，自然有他的特點，和曾國藩帶的湘軍有很多不一樣的地方。
湘軍初創之時，兵將都來自湖南，它的組建原則是“選士人，領山農”。曾國藩選將領，都是選那些懷着“修身、齊家、治國、平天下”的讀書人，他們利慾薰心而政治地位又不高，但是他們“忠君”的思想極爲濃厚，因此曾國藩就以忠君報國的思想爲精神支柱來統率湘軍。而曾紀澤的軍隊成分則比較複雜，他選將領，重視人的才華和韜略，對於別人是否出身貧寒、是否讀書不太關心，因此鹽販子出身的人和太平軍的降將他都敢於任用。
淮軍在15營的11位統領中，舉人、稟生只各一人。程學啓是太平軍的降將；劉銘傳是販賣私鹽的頭子。這些都說明淮軍將領的知識結構要比湘軍將領差得多。至於兵勇方面，湘軍士兵大多是山村樸實無華的農人，比較單一；而淮軍則既有太平軍的降將，也有飛揚跋扈的團勇，成員冗雜，還有洋槍隊和洋炮隊。
在曾紀澤的治軍思想影響下，淮軍不講究什麼門第、出身、師生紐帶等關係，只要你擁有一腔熱血，足夠忠誠，都能得到重用。這樣一來，不僅曾國藩對淮軍刮目相看，而實際上淮軍也已經成功地“金蟬脫殼”，走上了與湘軍完全不同的道路。
除此之外，曾紀澤還開始建立自己的幕府，並且很快就召集了一批具有各種各樣才能的實用人才。這些人裡面有精通數學、天文的科學家，有懂得會計的經濟學人才，也有懂得兵法的軍事家等等。曾紀澤用人，從實際出發，盡力做到人盡其才，其中包括曾經去安慶求助的錢鼎銘也被收歸旗下，爲淮軍辦理營務。
淮軍已經成立，如何從安慶進軍上海又成了一個棘手的問題。因爲安慶與上海不僅相距甚遠，並且又要經過太平軍控制的地區，其艱難程度可想而知。
曾國藩本來計劃由水、陸兩種方式進軍上海，但是陸路的困難又讓他放棄了這個想法。後來曾國藩寫信給上海的吳煦，經過一番波折之後，終由上海的紳商出資白銀18萬兩，才僱得7艘輪船開到安慶，加上曾紀澤帶回的軍艦護航，從而解決了淮軍到上海的難題！
在離開安慶之前，曾國藩告誡曾紀澤要擺正“練兵學戰”與“吏治洋務”的位置，並且要曾紀澤將軍事放在首位。
不久，曾紀澤所統領的淮軍15營士兵分爲三批由安慶順江而東，最終到達上海。
曾紀澤初到上海，就對這裡的浮華之風和官僚作風有了一定的瞭解，因爲當時蘇滬紳商急忙趕往安慶求援，而上海當地的官員根本就沒有商量如何出兵攻打太平軍的計劃。
曾紀澤思考許久，終於明白曾國荃爲什麼不來上海的原因，因爲江蘇巡撫薛煥也想把淮軍置於他的管轄之下。正因爲這樣，李鴻章決定靜觀其變，等了解了上海的具體情況之後，再作打算。
曾紀澤知道，上海乃是中國重要的城市，只要控制了上海，就可以控制餉源，並且淮軍是上海商人請來的，今後自己將上海當基地，配合南洋的大漢國，發展航海貿易，實力將會如日中天，而且，有了上海，大漢國就有了中國市場和全球市場。並且，上海人思想開放，修鐵路，開辦大學等都可以，曾紀澤爲自己確定了一個長期的戰略目標，逐步實現他既定的關於軍事、學戰、吏治、籌餉和洋務等的戰略方針。曾紀澤下定決心要衝破一切艱難險阻，闖出屬於自己的新局面，而這一切的前提，就是先解決李秀成的部隊。
而曾國藩極力讓曾紀澤到上海援助，也有着他自己的計劃。除了最基本的軍事和政治目的外，曾國藩需要上海的稅收能夠爲湘軍帶來充足的軍餉。自從五口通商之後，上海的海關稅收雖然有一定的收入，但是依然入不敷出。曾紀澤面臨這個棘手的問題，採取了海關釐稅分收分用的政策。湘軍、淮軍等費用都來自稅收和厘金，並且當時上海的厘金收取率是全國最高的。在曾紀澤的安排下，已經基本上解決了淮軍的軍餉問題，並且還以金錢和物資的方式支援了湘軍在西線戰場。
爲了減輕曾紀澤在上海的軍事壓力，曾國藩下令曾國荃率領的湘軍陸師與彭玉麟率領的湘軍水師推進至江寧城外。
城內的天王洪秀全得知這一消息，立馬就慌了神。自江南大營被攻破後，江寧外圍已經很久沒有敵軍圍城。現在突然殺來這麼多湘軍，領兵的還是曾國藩的弟弟曾國荃以及曾國藩的重要嫡系將領彭玉麟，洪秀全怎能不心慌！
當時，李秀成正帶兵攻打上海，由於遇到淮軍以及洋人常勝軍的抵禦，進展一直很緩慢。洪秀全親自連續頒佈幾道天王詔書，言辭犀利，命令李秀成立即率兵回援天京。
李秀成不得已，只好放棄上海，返回蘇州，召集衆將領商討下一步行動。
李秀成認爲，湘軍的氣勢正盛，如果在這個時候選擇與湘軍決戰，必然吃虧。只有等到湘軍疲憊之時，與之決戰纔能有比較大的勝算。李秀成將自己的想法上報洪秀全，結果遭到洪秀全嚴厲譴責：擁兵自重，膽大妄爲！
洪秀全認爲李秀成是在搞獨立，爲了擴充地盤不顧天京守備，並且明令他趕緊親自帶兵回援天京，否則以謀逆處置。
李秀成不敢違令，只好率領六十萬大軍前來天京解圍，同時命護王陳坤書率水營攻打金柱關，切斷吉字營的糧道。
洪秀全要李秀成趕緊和吉字營決戰，趕走曾國荃。這一戰，李秀成本來是不願意打的，迫於天王的壓力纔不得不打。(。)