不久之後，張樹聲果然說服了劉銘傳與周盛波加入，這樣一來，曾紀澤的這支新建淮軍人數將達到一萬餘人。曾紀澤在常勝軍的基礎上再次改進了編制，將原有的三營擴建爲三團九營，炮連擴充爲直屬炮營，並新編入了一個直屬後勤營。
爲了避免湘軍兵歸將有，主帥調動不利的弊病，曾紀澤將原有常勝軍與新加入的團練勇丁進行了系統的混編，保證了在每一級的指揮崗位上，新舊將官所在比例達到比較平衡的水平。
新編淮軍中，張樹聲任二團團長，向望海任副團長；劉銘傳任三團團長張樹珊任三團副團長，胡雪參任一團團長，周盛波任副團長。許厚才任直屬炮營營長。
曾紀澤原計劃除威利外，聘請更多的外國軍官對淮軍進行系統的西洋軍事訓練，但鑑於上海形勢的緊張，以及北京局勢的不確定性，曾紀澤認爲有必要儘快的將上海這塊得天獨厚之地掌握在淮軍的手中。於是，在經歷了不到一個月的短暫訓練，曾紀澤就決定率領淮軍開赴上海。
上海官紳對於淮軍的到來自然表現出了極大的熱情，他們應曾紀澤的要求，向在滬外國輪船公局租用了多艘火輪，運送一萬淮軍分數批，闖過了長江下游太天天國佔領區域，於十月中旬順利到達了上海。
曾紀澤抵達上海的頭一天，以江蘇布政使吳煦爲首的各界人士就擺下盛宴爲他接風洗塵，他們對這位兩江部督之子，淮軍統帥表現出了相當的尊敬與熱忱。曾紀澤在宴會上表示，他的淮軍擁有與太平軍作戰的豐富經驗，如果上海官商界能爲他提供購買武器以及餉銀的充足支持，他保證他的淮軍將保衛擊敗太平軍的入侵，保衛上海的安全。
上海成爲通商口岸日久，租界內外外國公司雲集，許多中國商賈也在此開辦產業，當時的上海號稱“東亞第一都市”，更是清政府關稅收入的主要來源，用富可敵國來形容上海雖有誇張，卻也形象的描述了上海的富裕。
錢對於上海官紳們來說並不重要，重要是淮軍能夠守得住上海，吳煦當即代表各界表示，只要淮軍能保證上海安全，則他們可以提供每月二十萬兩人的餉銀，另外提供購買洋槍洋炮的全部費用。
打仗就是燒錢，有了上海這個大金庫作後盾，曾紀澤更增加了守住上海的信心。與此同時，他向吳煦私下提出了另一個要求，即以上海衙門的名義，立即解散洋槍隊。
1860年，當時正值太平軍攻克蘇州之際，英美等國爲了阻止太平軍攻佔上海，但又不方便撕破中立的面具，直接派兵與太平軍爲敵，便由清政府出面，委派美國人華爾召募外籍亡命徒及軍人組成了僱傭軍，即洋槍隊。
洋槍隊在建立的初起，由於人數有限，在保衛上海的戰鬥中發揮的作用也十分有限，其真正發揮重大作用的時候，則是在1862年擴軍，並被清政府賜名爲“常勝軍”之後。後來的幾年中，該武裝不斷的擴充，不但成爲了一支令太平軍望而生畏的隊伍，更因爲英美等國對其的控制，任其成爲一支清政府眼中一支尾大不掉的威脅力量。
曾紀澤既然準備將上海，乃至江蘇作爲自己發展的根據地，那自然不能允許在淮軍之外，還存在着另一支強大的武裝力量，解散洋槍隊便成了他首要的目標。
當時，華爾率領洋槍隊在與太平軍的一次交戰中，遭到慘敗，士兵折損大半，本人也負重傷，洋槍隊的戰鬥力遭到嚴重的削弱。華爾當時正準備改變方針，招攬中國人加入洋槍隊來增強實力，曾紀澤選擇在這個時候對洋槍隊下手，時機恰如其分。
華爾性格盛氣凌人，平素從不將吳煦這個江蘇布政使放在眼裡，即使是前來要銀子時也是一副大爺之狀，吳煦之所以能對他忍耐這麼久，無非是仰仗他手下的洋槍隊來對付太平軍的進攻。
現如今，淮軍既來，上海的形勢大爲好轉，洋槍隊的存在自然也就沒有必要，所以他當即聽取了曾紀澤的建議，下令上海政府將不再爲洋槍隊提供任何經濟與物資上的支持。
洋槍隊人馬損失大半，如今又失去了銀餉來源，英美兩國又不便直接爲其撥款，故華爾不得不在幾天之後宣佈解散了洋槍隊，本人則繼續逗留在上海租界養傷。
就在曾紀澤組建淮軍的同時，太平天國李秀成率領二十萬人馬，號七十萬人的大軍進入浙江，展開了對杭州、寧波等重要城市的進攻，因此上海的局勢得到了短暫的穩定，這正好給了曾紀澤抓緊時間武裝、訓練淮軍的時間。
在武器方面，曾紀澤準備結束與英國合同，轉而向美國進口武器。正在進行的美國南北戰爭，促進了武器，特別是步槍的快速發展，戰爭的雙方不斷的研製和改進步槍性能，使得美國的步槍製造業迅速的趕超了歐洲，使其投入戰爭的多款步槍都領先於世界先進水平。
而曾紀澤把目光投向大洋彼岸的美國，更預示着他將來的外交重點，從英美兩人國對待中國的態度上而言，英國的殖民野心更爲強烈，這可以從兩人次鴉片戰爭中，對香港的領土zhan有可以看出。而美國人則顯然更注重於對華貿易，門戶開放政策更明確的說明了這一點。
當時的大英帝國正處於“日不落帝國”的輝煌鼎峰，中國與之交往完全處於不利的地位，而美國正值內戰以及工業發展期，兩國的來往可以存在的更多的合作互利性折潛質。
至少在曾紀澤看來，歷史上的美國並未奪取過中國寸土，這樣一個國家，顯然要比對領土充滿野心的英、法、德、俄等國要“善良”的多。
曾紀澤向美國領事克拉克遞交了拜帖，這位新任的美國駐上海領事對這支進入上海的清國軍隊充滿了興趣，他很快邀請曾紀澤參加在美國領事館內舉行的一場酒會。
曾紀澤欣然應邀，於當晚乘着便裝，乘坐一輛馬車前往虹口的美國租界。在時間較爲充裕的情況下，曾紀澤選擇了一條繞遠的路，順便欣賞一下外灘的景色。
這條上海最主要的街道，距黃浦江約40英尺，與江岸平行，在外灘和黃浦江之間，是兩排綠樹和一片美麗的草地，非常漂亮。江風裹着秋陽，溜過綠樹吹撫着外灘，清新的氣息令人肺腑通暢。
曾紀澤也曾在外灘遊玩過多次，但這個時代的江水尚未被嚴重的工業廢水所污染，城市的空氣也沒有被汽車廢氣渾濁，行進在外灘之上，感覺與那時完全不同。