3月17日、18日，日軍第2軍第10師團的瀨谷支隊先後攻佔了臨城及滕縣，令步兵第63聯隊的第1大隊(欠1箇中隊)繼續沿津浦路南進，向韓莊追擊；爲了控制棗莊煤礦，又令第63聯隊的第2大隊向嶧縣追擊。3月19日，日軍第63聯隊的第1、第2大隊分別擊退了剛剛趕至沙河及嶧縣佈防的第20軍團第85軍第89師的第6旅及第4師的第23團，佔領了韓莊、嶧縣。
由於臨沂方面日軍第5師團阪本支隊進攻受挫、處境困難，第2軍參謀清福大佐到兗州面告第10師團師團長，希望對阪本支隊予以支援。師團長磯谷廉介於20日命令瀨谷支隊：“須確保韓莊至臺兒莊運河一線，並警備臨城、嶧縣，同時應以儘可能多的兵力向臨沂方面前進，協助第5師團戰鬥。”瀨谷啓即率第63聯隊進至嶧縣；22日，根據師團長意圖下達了作戰命令，主要內容爲：“(1)第63聯隊第1大隊(欠1箇中隊)擔任韓莊地區的守備。(2)第63聯隊第2大隊，配屬野炮1個大隊，明日(23日)從嶧縣出發，進佔並確保臺兒莊附近運河一線地區。(3)步兵第10聯隊，明日從臨城出發，向臨沂方向前進，策應第5師團之阪本支隊作戰。(4)瀨谷支隊主力集結於嶧縣附近”，觀察情況的發展，再作出下一步的處置。3月22日，瀨谷啓得到航空兵空中偵察的報告：微山湖上中國軍隊約千餘艘小船正向湖東的夏鎮前進。由於這一新的情況，瀨谷啓改變了決心，支隊主力亦暫不向嶧縣集中，仍留臨城地區，準備應付微山湖方面可能發生的進攻，但第63聯隊第2大隊的任務不變，仍向臺兒莊進攻(稱該大隊爲“臺兒莊派遣隊”)。
當津浦路北段日軍開始由鄒縣南進時，軍事委員會除將湯恩伯第20軍團轉移於第五戰區外，3月14日又將軍事委員會直接掌握的孫連仲第2集團軍轉隸第五戰區。李宗仁在臨城失守時決心集中兵力將向津浦路南進的日軍圍殲於臨城以南地區。3月19日擬定了作戰命令，21日報請蔣介石審覈。其關於津浦路正面作戰的主要內容爲：“(1)臨城、嶧縣、韓莊間之敵約步兵三聯隊、騎兵1聯隊、炮兵1聯隊、坦克車五六十輛，自14日以來，在界河、滕縣、南沙河及臨、棗各地與我鄧集團(指第22集團)及王軍(指王仲廉第85軍)激戰，現分部南進，已達韓莊及嶧縣附近，其主力似尚在臨城。(2)戰區以收復魯中廣大地區爲目的，以一部在運河之線取攻勢防禦態勢，以主力由嶧縣東南及東北山地，側擊南下之敵，聚殲於臨棗支線與韓莊運河間地區。(3)各部隊之部署及任務如左：甲、湯軍團新配屬31師(欠110師)，應集中主力於嶧縣東側及棗莊西北方焦山頭附近一帶山地，於3月20日(後改爲24日)拂曉全線開始攻擊，務先擊破嶧、棗之敵，向臨城、沙溝兩地附近側擊，壓迫敵於微山湖東岸而殲滅之。其一部集結於臺兒莊北方地區，準備對嶧縣及其西北地區協力於主力作戰。乙、孫集團軍新配屬110師(欠31團)，應以一部在侯新閘以西運河南岸防禦，待機渡河北進，主力控置於賈汪附近及荊山、茅村鎮間”。蔣介石於當日21時覆電，原則批准，但對其部署作了修正，指示：“(1)湯軍團進出運河後，以約兩師對嶧縣方面佯攻，以三師由嶧縣以東梯次迂迴求滕縣以南亙嶧縣間敵之側背攻擊之。(2)張軫師(指第110師)及獨44旅歸孫仿魯(孫連仲)指揮，守備運河。(3)孫仿魯部兩師集結徐州待機。(4)張自忠軍(略)。(5)孫、曹(指孫桐萱、曹福林之第3集團軍)出擊部隊，除以主力向鄒縣、兩下店間地區挺進外，另以兩團由汶上方面向肥城、大汶口挺進遊擊，限宥日(26日)到達，准予懸賞。萬一敵有增援隊由濟寧出擊時，除守勢部隊竭力阻止外，其出擊部隊仍須在鐵路線上遊擊，不得撤回運河西岸。”
至3月22日夜，第20軍團的第52軍已將運河南岸防務交第110師，該軍北向蘭陵鎮地區轉進；第85軍已與韓莊、嶧縣之敵脫離接觸，正向青山地區轉移；配屬第20軍團的第31師進至臺兒莊地區(第31師於24日仍歸屬第2集團軍)；第110師及獨立第44旅在運河南岸臺兒莊至韓莊間防守，第2集團軍的第27師在賈汪地區，總司令部及第30師在徐州附近的茅村地區。
第五戰區這次攻勢作戰的主力是第20軍團。第31師的任務是以佯攻或固守手段牽制住嶧縣日軍，以便於第20軍團從側背攻擊、殲滅敵人。早在第31師副師長屈伸於3月19日先行到達徐州受領任務時，李宗仁就已將這次戰役的作戰方針及指導要領告訴他。李宗仁說：“魯南突出冒進之敵約一個師，有進窺徐州之模樣，你師到車輻山後，先接替臺兒莊沿運河的防線，爾後向嶧縣之敵攻擊前進。敵如出而迎戰，你師應全力堵擊，迨湯恩伯軍團進擊敵側背，全力壓迫敵人於微山湖畔聚而殲之；敵如固守待援，你師應盡力牽制，監視敵人，掩護關麟徵軍北上與王仲廉軍協力包圍攻擊，殲滅棗莊之敵，再回師合擊嶧縣之敵，將戰線推進到兗州以北。爲了協同方便，你師即暫歸湯軍團長指揮。”
22日，湯恩伯在臺兒莊也曾向池峰城告知上述作戰企圖，並表示：“設嶧縣之敵憑藉嶧縣山城固守，則軍團之攻略不易得手。31師應誘敵脫離山城，則殲敵易舉。”還說：你們與敵接觸後一日之內軍團即可回援，你師如能在臺兒莊堅守三日即算完成任務。池峰城根據上級的意圖，決心提前於23日“拂曉向嶧縣之敵施行佯攻，期誘敵於南、北洛附近而抑留之，待軍團主力之南旋而殲滅之”。基於上述決心，22日15時下達作戰命令，主要內容爲：“(1)第93旅之185團位置於北洛，以一營進至前城、趙莊地區，該旅之便衣隊即向獐山、北山、西黃山湖搜索而佔領之。旅部率禹營(指第186團第3營禹功魁營)位置於南洛附近，應於明(23)日拂曉後向嶧縣之敵行佯攻，後逐次抵抗於北洛附近。第188團(欠1營)擔任臺兒莊之守備。(2)第91旅以181團控置於臺兒莊，以182團擔任臺兒莊運河南岸警戒。(3)師部推進至臺兒莊。”
至3月22日夜，第20軍團的第52軍將運河南岸防務移交第110師後進至向莊地區。第85軍已與韓莊、嶧縣之敵脫離接觸，後轉移至抱犢崮山區。
3月23日拂曉，第31師師長令旅長乜子彬率1個團向嶧縣攻擊前進。與此同時，日軍“臺兒莊派遣隊”也由嶧縣出發向臺兒莊攻擊前進，雙方在獐山遭遇。日軍擊退第31師的騎兵搜索隊及擊殲第183團的尖兵連後，在泥溝又擊退了第183團的前衛營，於當晚佔領了北洛。瀨谷啓於戰俘口中得知：嶧縣周圍的部隊是中國軍隊第20軍團的4個師；第五戰區司令長官李宗仁已命令湯恩伯在嶧縣東北及北方的山區集結，24日開始攻擊，企圖將韓莊、臨城一帶日軍壓迫、殲滅於微山湖東岸地區；湯恩伯現在向城。於是決定將支隊主力集結於臨城、嶧縣，準備與湯軍作戰，原定支援臨沂的部隊減爲1個大隊，對進攻臺兒莊的兵力與任務則不變動。連夜下達命令：“(1)支隊以一部遣往沂州方向策應阪本支隊，主力確保韓莊及臺兒莊附近的大運河一線。(2)沂州支隊(以步兵第10聯隊第2大隊爲基幹)24日從臨城出發，向沂州方向前進，策應阪本支隊作戰。(3)步兵第10聯隊(欠第2大隊，配屬炮兵等)以一部確保韓莊附近大運河線，主力於臨城集結。(4)步兵第63聯隊(欠1個大隊，配屬炮兵等)以一部確保臺兒莊附近大運河線，主力集結於嶧縣。(5)支隊司令部及直屬部隊集結於棗莊附近。”
24日，中國空軍爲支援第20軍團進攻作戰，拂曉後以轟炸機14架轟炸了韓莊、臨城及棗莊的日軍，但第20軍團並未按預定的時間開始進攻。當晚，軍團部及第85軍仍在抱犢崮山區中，僅第52軍到達了預定的進攻出發地位——郭裡集、鵓鴿窩之線。當日，蔣介石至徐州視察，將隨行的副參謀總長白崇禧、軍令部次長林蔚及廳長劉斐等留第五戰區協助李宗仁策劃作戰。同時令第31師改爲防守臺兒莊，並增調炮第7團的野炮1個營(有瀋陽造仿克魯75毫米野炮10門)、機械化野戰重炮兵1個連(有德國造卜福斯的150毫米榴彈炮2門)及鐵甲車第3中隊配屬第31師，以加強臺兒莊的防守火力；還令第31師解除第20軍團的配屬任務，歸還第2集團軍建制，由孫連仲統一指揮台兒莊方面的作戰。孫連仲於當日進至臺兒莊運河南岸的韓家寺，將其第27師由賈汪推進至臺兒莊附近，接替第31師河防部隊，以加強臺兒莊的防守力量。
同日，日軍沂州支隊開始東進，當晚宿營於棗莊，以約1箇中隊的兵力爲先遣隊，進至郭裡集，佔據了村東北角的大碉樓。“臺兒莊派遣隊”繼續由北洛向臺兒莊進攻，中午前後攻佔南洛，黃昏時推進至臺兒莊附近。臺兒莊南靠運河北岸，四周有長約4公里的磚砌城牆，並建有大小碉堡多座，共有6個城門，城西南角的文昌閣爲全城制高點。日軍以猛烈的炮兵火力摧毀了東北城牆，一度突入城內；在第31師不斷反擊下，敗退城外，遂在北郊一帶構築工事，防禦第31師反擊及等待援軍，作再次進攻的準備。
5日拂曉時，進入郭裡集的第52軍第25師第75旅之一部與日軍沂州支隊的先遣中隊互相發現。第52軍部隊立即將碉樓包圍，並調來炮兵進行攻擊。經戰鬥後，該日軍中隊大部被殲，僅十餘人突圍逃至棗莊。棗莊日軍沂州支隊在第25師圍攻其先遣中隊時曾派出數百人進攻郭裡集，企圖救援，被第25師擊退。第52軍的第2師從鵓鴿窩向棗莊進攻，但被擊退。湯恩伯率第85軍主力仍在抱犢崮山區按兵不動，僅令派出1個旅與第52軍協同作戰，而該旅僅派出1個團、該團又僅派出幾個排的兵力在棗莊外圍進行了襲擾性攻擊，然後又退回抱犢崮山區中。
位於棗莊附近的瀨谷啓於24日夜收到了“臺兒莊派遣隊”的請援電報。由於棗莊、郭裡集方面受到第52軍的攻擊，瀨谷支隊只能抽調約2個步兵中隊的兵力，配屬2門重炮南下增援，支隊主力準備“與郭裡集附近之敵進行決戰”，令第10聯隊(約1個半大隊的兵力)從臨城向棗莊以南運動。增援臺兒莊派遣隊的2箇中隊於黃昏前後到達臺兒莊，立即遭到第31師的反擊。“臺兒莊派遣隊”隊長因兩日來傷亡過多，而增援的僅2箇中隊，仍難完成攻佔臺兒莊的任務，26日凌晨又向瀨谷啓發出第二次請援電報：“(1)敵兵力爲3個師(城內1、城東1、城西及包圍我的1)，城內及火車站附近有列車炮。(2)派遣隊等待增援，27日開始攻擊。(3)戰死20，戰傷112，突入城內生死不明者15。”瀨谷啓在收到此電不久，又收到第10師團師團長磯谷廉介令其“採取果敢之攻勢”的電令，當即決定由第63聯隊福榮真平大佐率僅有的第3大隊趕赴臺兒莊指揮攻堅。
3月27日，“臺兒莊派遣隊”得知第63聯隊已南下增援後，不俟援兵到達，即向臺兒莊發起第二次猛烈的攻擊，佔領了城牆的東北角，一部突入城內。第31師的第186團立即組織反擊，雙方展開激烈的巷戰，終將突入的日軍壓迫於城內的大廟附近。但第31師損失也大，4天的激戰，傷亡約2800人。爲利於以後的戰鬥，池峰城將全師縮編爲3個團7個戰鬥營。這時，第2集團軍的第27師已部署於臺兒莊以東的黃林莊一帶，第30師及獨立44旅已部署於臺兒莊以西的頓莊閘、萬里閘一帶，不斷與第31師協同，向劉家湖、三裡莊等地實施反擊。當晚17時30分，福榮真平率第63聯隊直屬隊及第3大隊到達劉家湖地區。臺兒莊形勢更趨嚴峻。
由於臺兒莊戰情緊急，而第20軍團主力仍在棗莊東北山區，並未向棗、嶧日軍實施與其實力相適應的進攻。
因此第二戰區一面向第2集團軍總司令孫連仲下達限期殲敵的命令，一面向第20軍團湯恩伯下達轉用兵力於臺兒莊的命令。給孫連仲的電令是：“查臺兒莊爲徐州前方要地，又爲湯軍團後方聯絡要道，關係重要。據報該處附近敵人約一混成聯隊，我軍兵力數倍於敵，早當解決，乃經幾日戰鬥，臺兒莊圍子反被敵衝入一部，殊深詫異。着貴司令負責嚴督所部，限於29日前將該敵肅清，勿得延緩致誤戎機爲要。”給湯恩伯的電令是：“該軍團放棄攻擊嶧縣、棗莊之計劃，速以一部監視當面之敵，以主力向南轉進，先殲滅臺兒莊之敵。”此時，孫連仲因湯恩伯、關麟徵等曾有過臺兒莊一旦受到攻擊，“一日內定可回援”及“堅持三日即算完成任務”等的許諾，因而直接向湯恩伯發出了求援電。大意爲：連日受敵猛攻，第31師傷亡慘重，盼以全力攻擊敵之側背，支援臺兒莊戰鬥。湯恩伯當即令：
“第52軍應於本晚星夜由傅山、青山一帶向南下之敵夾擊，並與孫集團軍切取聯繫；第85軍應以一部佔領雲谷山、黃山、馬山、神山一帶，牽制齊村、棗莊、郭裡集一帶之敵，主力本晚集結神山、向水泉、豬山一帶待命。”
3月28日，福榮真平的第63聯隊集中兵力，在1個野炮大隊、2個野戰重炮大隊、1個150毫米榴彈炮小隊以及30餘輛戰車掩護下，與昨日突入臺兒莊中的第2大隊協同，對臺兒莊發動了第三次猛攻。第2集團軍除以第31師據守臺兒莊陣地頑強抗擊外，還令第27師、第30師及獨立第44旅從東、西向敵人側翼及後方進行反擊。特別是中國空軍，在臺兒莊戰場上首次以9架戰鬥機直接支援地面部隊戰鬥，對廣大官兵的抗戰士氣鼓舞很大。因而日軍僅在炮火準備後剛開始進攻時佔領了臺兒莊的西北一角，爾後再無進展。但突入城中的日軍乘機擴張戰果。第31師將所有能夠戰鬥的勤雜人員全部組織起來投入戰鬥。雙方展開激烈的肉搏拉鋸戰，隔牆相擊，逐屋爭奪，陣地形成犬牙交錯狀態。
3月29日，日軍第2軍司令官西尾壽造見第63聯隊攻擊受阻，而中國軍隊第20軍團又正向南進，第63聯隊有被圍殲的危險，遂令第5師團的阪本支隊暫時中止進攻臨沂，急向臺兒莊方面增援；同時令第10師團瀨谷支隊主力增加到臺兒莊前線。
第五戰區見臺兒莊形勢危急，而第20軍團尚遲遲未到，因此在28日夜電令湯軍團“迅速南下夾擊”。29日夜下達正式命令，賦予湯軍團的任務爲：
“甲、王軍明30日應對嶧縣之敵佯攻，牽制該敵之南下，但應保持由東向西之原方向。乙、關軍明30日應速向泥溝、北洛前進，到達該地後以一部向南洛，協助孫集團軍解決臺兒莊附近之敵，以主力極力破壞鐵路、公路遮斷嶧縣與臺兒莊之連絡，並與王軍協同阻止嶧縣南下之敵。但王軍應保持由東向西之原方向。丙、湯軍團長應速向孫總司令密取連絡。”
3月30日晨，日軍瀨谷啓率其第10聯隊及戰車部隊從嶧縣南下，當晚21時左右，先頭部隊到達臺兒莊以西6公里之範口村，主力集結於獐山東側各村中。第五戰區發現瀨谷支隊已經南下，而孫連仲報稱與第20軍團“尚未取得聯絡”，當晚20時再次電令湯恩伯：“敵主力似南下……着貴軍團長以一部監視嶧縣，親率主力前進，協同孫軍肅清檯兒莊方面之敵，限31日拂曉前到達，勿得延誤爲要。”
臺兒莊內日軍得知瀨谷支隊主力南援的情況後，在航空兵及莊外日軍的大力支援下，全力向外擴張，當晚推進至莊南頭運河北岸。孫連仲派第30師的第176團入莊增援，與第31師部隊據守西半部陣地，拼死抗擊，遏止了日軍的擴張勢頭。
3月31日，日軍瀨谷支隊仍與第2集團軍部隊激戰於臺兒莊內外，沒有進展。第10師團師團長磯谷廉介又調該師駐濟寧的第39聯隊第1大隊，配屬給第10聯隊，以加強瀨谷支隊的進攻能力。由於阪本支隊主力轉向臺兒莊，臨沂形勢緩和，第五戰區得到龐炳勳、張自忠“當面之敵已被擊退”的報告後，下令將原準備調到臨沂方面的第59軍第139師“轉移至臺兒莊方面爲預備隊”，以穩定臺兒莊方面的戰局。
第20軍團的先頭部隊於30日夜到達甘露附近，31日開始向獐山以東的日軍進攻，佔領了蘭城店、三佛樓等地。中午前後，在向城以東擔任軍團側背警戒的騎兵團與由臨沂西進的日軍阪本支隊先頭部隊發生戰鬥。第85軍的第89師前往應援，在邰家莊附近被該支隊主力擊退。湯恩伯急調第4師至向城、愛曲地區組織阻擊。根據當時情況，湯恩伯認爲有被日軍東西夾擊的危險，爲擺脫腹背受敵的不利境地，以“避免與敵膠着，且戒冒險決戰”的理由，決心“轉用兵力”，把所有兵力“一律由內線轉移爲外線”，竟放棄對獐山東側日軍的進攻，“乘夜與敵脫離”，在第4師掩護下，撤至洪山鎮以東的魯坊、南橋地區。
4月1日，日軍阪本支隊與由魯坊進至蘭陵阻擊的第20軍團第52軍在蘭陵鎮以北地區展開激戰。當晚，阪本順約留1箇中隊的步兵及1個騎兵隊於向城、蘭陵鎮間地區，掩護其後方聯絡，主力向臺兒莊以東的岔河鎮方向前進。第五戰區急令第139師至岔河鎮佔領陣地，歸第20軍團指揮，準備抗擊該敵。湯恩伯率指揮所於當日進至四戶。
孫連仲爲殲滅臺兒莊內之敵，決定由城外向日軍佔領的街區實施夜襲，以收出敵不意、攻其不備之效。當日16時下達了作戰命令。主要內容爲：令第27師挑選奮勇隊250人，繼以得力步兵1營跟隨衝進臺兒莊城內(該奮勇隊如能爬進城垣、衝殺該敵，準賞洋5000元)；第30師(欠袁、吳兩團)集結最優秀的兵力，在第27師開始攻城時向三裡莊發動襲擊；集團軍炮兵隊集中火力向劉家湖射擊，以牽制敵人；臺兒莊的第31師配合第27師部隊向佔領了城西北角之敵發動進攻。當日夜半前後，第27師奮勇隊及第157團第2營從臺兒莊東北角突入城中，攻佔了東北隅及東南門，但終爲敵所阻，遂佔領部分街區，與敵巷戰。31日，在第27師第157團第2營進攻的同時，第30師第175團亦以第3營向佔領西北角的日軍發起進攻，經激烈肉搏後，終將敵人擊退，並殲滅其一部。
4月2日，由於第20軍團昨日放棄對獐山以東日軍的進攻，日軍第10聯隊乘機南下，進至臺兒莊以東地區，於10時30分開始向第27師彭村、上村、陶溝橋等處陣地進攻。激戰至19時，第27師後撤至連莊、丁家窯、火石埠之線繼續抗擊。日軍阪本支隊當日亦進至陳瓦房、耿莊地區，與第10聯隊取得聯繫。其留置後方擔任掩護的部隊被第52軍包圍，劉莊第25師的第145團將其位於劉莊的一部殲滅。
由於日軍第10聯隊及阪本支隊均向臺兒莊以東地區前進，第五戰區急將剛剛調至碾莊、八義集一帶的第75軍及其第6師、第13師轉至岔河鎮地區，令由臨沂方面調來的第57軍第111師的第333旅進至魯坊地區，均歸第20軍團軍團長湯恩伯指揮，決心集中兵力將已進至臺兒莊附近的日軍圍殲於鄒、臺地區。2日20時，第五戰區向各單位下達了作戰命令。
(1)敵第10師團及第5師團之一旅，自經臨沂、臺兒莊諸戰鬥後，傷亡極大，現參加決戰之兵力，至多不過5個聯隊，附山野炮50至60門，重炮10門，戰車數十輛，其一部約1000人，在洪山鎮北方秋湖附近被我軍第20軍團包圍，其主力向臺兒莊東側陳瓦房、鳳凰橋一帶運動，續向第2集團軍右翼迂迴攻擊中。濟南、大汶口、濟寧、滕縣間爲第10師團之另一旅團分段守備中。
(2)本戰區以迅速合圍殲滅敵人之目的，決於明(3)日開始全線總攻擊，保持重點於第20軍團之右翼，將敵包圍於臺兒莊北側地區而殲滅之。
(3)各兵團任務如下：
甲、第20軍團以一部消滅洪山鎮北方之敵，以主力於3日保持東南正面，向臺兒莊附近之敵左側背攻擊，逐次向左迂迴，務在臺兒莊左側地區將敵捕捉殲滅之。攻擊開始時間，由該軍團自定。因戰況之進展，須隨時遮斷敵自嶧縣之退路，並對向城方面增援之敵嚴密警戒。
乙、第2集團軍右翼與第20軍團聯繫，於3日全線攻擊，消滅臺兒莊之敵；第110師準備以1旅由萬里閘附近渡河，向北洛村附近敵之右側佯攻。
丙、第3集團軍前敵總司令曹福林指揮張測民支隊5個團及遊擊總指揮李明揚所部，爲堵擊兵團，迅速南下向棗莊、臨城合圍。
(4)軍團區分：
右翼兵團
第20軍團長湯恩伯，第52軍，第85軍，第75軍，第57軍之333旅，第13師，騎兵第9師，炮兵第4團。
左翼兵團
第2集團軍總司令孫連仲，第2集團軍第119師，炮兵第10團2個連，戰車防禦3個連，重迫擊炮2個連。
(5)第110師河防由第22集團軍部隊接替。
日軍第10聯隊在4月2日的《戰鬥詳報》中說：“對中國軍隊第27師第80旅昨日以來的戰鬥加以檢討，無愧於蔣介石對他們的極大信任。他們據守散兵壕，全部頑強抵抗直至最後。他們在狹窄的散兵壕內，重疊相枕，力戰而死之狀，雖爲敵人，觀其壯烈之態，亦爲之感嘆。戰鬥中曾使翻譯勸其投降，但無一人應者。戰至屍山血海的精神，並非獨爲我軍所特有。無視他人，自我陶醉，爲我軍計，對此應有所慎戒。本日作戰，我軍傷亡將校以下66名，敵遺屍約250具。”
4月3日，臺兒莊內日軍得知其第10聯隊及阪本支隊均已增援至臺兒莊以東地區，爲配合作戰，加強了在莊內的攻勢，由東部街區向南部及西部街區猛攻，但遭到第31師的堅強抗擊，除又奪佔了東南門外，沒有進展。第10聯隊繼續向第27師陣地攻擊，但亦遭到頑強的抗擊。經一日苦戰，日軍佔領了黃林莊附近第26師的部分主陣地，第27師退至石拉一線繼續抗擊。戰鬥於第10聯隊以東的阪本支隊4月3日正在火石埠一帶與第75軍激戰中。
第2集團軍的3個師全天均在日軍猛攻之下，竭力防守，但無力按戰區的命令轉爲進攻。第110師派豫東紅槍會組成的武術隊於當夜潛渡運河，以大刀、梭鏢襲擊了韓莊車站，一度攻入站內；該師第328旅潛入河北的突擊隊亦對鄒縣之敵進行襲擾。第20軍團的第75軍一部正與日軍阪本支隊激戰；第52軍已消滅了阪本支隊的掩護分隊，正向底閣、楊樓一線前進，做進攻瀨谷支隊左側背的準備。
4月4日，瀨谷啓發現中國軍隊有向其翼側及後方包圍的跡象，急令第10聯隊主力向支隊部所在地楊廟靠攏，連夜北返至距臺兒莊約4公里的魚鱗集結；留約1箇中隊的兵力置於黃林莊地區，與臺兒莊內第63聯隊第2大隊相呼應。日軍阪本支隊進攻受挫，已被第75軍及第85軍包圍於鸞墩、大顧珊、火石埠等地。
中國統帥部得到臨城、棗莊一帶的日軍均已調至嶧縣以南增援的情報，即令第3集團軍前敵總司令曹福林“速向臨、棗推進，限4月5日到達”，企圖切斷日軍的前後聯繫、合圍臺兒莊附近日軍於嶧縣以南地區；同時派飛機27架，分兩批轟炸了瀨谷支隊和阪本支隊。第20軍團將第13師控置於魯坊、南橋地區，以防止臨沂方面的日軍增援。
此日，第75軍及第85軍一部全天與阪本支隊作戰，第52軍仍在準備進攻，第2集團軍仍與當面之敵苦戰。
4月5日，日軍阪本支隊與後方的聯繫已完全被第20軍切斷，彈藥、糧秣均無法從臨沂方面的第5師團獲得，不得不從第10師團瀨谷支隊方面補給，已陷於困境。當晚19時37分，該支隊下令準備退回臨沂地區，並於20時30分致電瀨谷啓：“支隊爲攻佔沂州，奉命返回，預定明(6日)日沒後開始行動，7日拂曉前在三佛樓附近集結兵力。”此時，瀨谷支隊對臺兒莊的攻擊亦毫無進展，留置黃要莊的第10聯隊的1箇中隊在第27師的猛攻下已放棄紀莊等外圍村莊，退縮至黃林莊。
因第20軍團迄今尚未對進攻臺兒莊日軍的側背進行有力的攻擊，致臺兒莊的形勢日趨危急，因此蔣介石於12時致電湯恩伯：“臺兒莊附近會戰，我以10師之衆對師半之敵，歷時旬餘，未獲戰果，刻軍團居敵側背，態勢尤爲有利，攻擊竟不奏效，其將何以自解?應急嚴督所部於六、七兩日奮勉圖功，殲滅此敵，毋負厚望。”湯恩伯接到電令後積極部署進攻：令第75軍“以一部鞏固岔河鎮東南、西南一帶高地之據點，主力繼續向蕭汪、東莊、臺兒莊攻擊前進”；令第85軍(附第665團，欠第4師)“向低石橋、燕子井、岔河山、劉家湖繼續攻擊前進”；令第52軍(附騎兵第4團)“以有力之一部鞏固洪山鎮、蘭陵鎮、向城一帶之據點，主力即刻開始經甘露寺、腰裡徐，向泥溝、北洛之線攻擊前進”。同時急令第31師師長池峰城：“明日(6日)決將臺兒莊之敵擊潰，與貴部會合。如不成功，甘當軍令。”當晚，第52軍到達底閣、楊樓、陶溝之線，第58軍的第89師在朱莊、黃洲之線向大顧珊之敵進攻中，第75軍的第139師在岔河鎮、西黃石山之線向蕭汪之敵進攻中，第75軍的第6師在戴莊、李家圩之線向辛莊之敵進攻中。
同日，第2集團軍總司令接到第一戰區司令長官程潛的電報：“本長官奉令特來徐州督戰。臺兒莊之敵限自魯起至齊日止(6日至8日)，3日內務捕捉殲滅。樹立首功者獎洋10萬元，否則師長以上定予重懲。”
孫連仲接電報後立即“嚴令各部務於限期內將當面之敵肅清，免受軍令制裁”。第110師於當晚從得勝口潛渡運河北進，準備於次日進攻獐山附近之敵。
4月6日晨，日軍瀨谷支隊長髮現第110師的部隊已進至泥溝、獐山以西附近，第20軍團第52軍的部隊已逼近至支隊部所在地楊廟東北約7公里的張樓地，而阪本支隊主力已被第58軍及第75軍從北、東、南三面包圍於邢家樓、大顧珊地區，且又準備於今晚撤走。這樣，“瀨谷支隊長認爲獨立維持臺兒莊戰局困難”，決定退卻，於15時30分電告磯谷廉介：“暫撤離臺兒莊地區，部隊向後方集結”；同時部署撤退，下令：“支隊於本日日沒後以全力向北轉進”，令步兵第10聯隊第1大隊及步兵第39聯隊第1大隊提前於日沒時即佔領白山西村及獐山，令步兵第63聯隊主力(不包括臺兒莊部隊)於日沒時向朱莊進攻，以掩護支隊主力撤退，第10聯隊、臺兒莊內第63聯隊第2大隊及頓河閘、插花溝、黃林莊的各中隊均於20時撤出第一線，向泥溝地區集結。在兗州的磯谷廉介接到瀨谷啓的電報後，立即命令參謀長電告瀨谷啓，令其終止後退。但瀨谷啓身陷險境，深知如果今夜不能迅速脫離臺兒莊地區，等明日中國軍隊合圍後就有被全殲的危險，因而抗命不從，繼續指揮支隊退卻。由於倉促退逃，又是在中國軍隊的進攻下進行的，所以許多軍需物資，如糧秣、彈藥、被服以及日軍屍體等均來不及帶走，全部放火焚燒；有些重型機械化武器也因彈盡油竭、無法開動，不得不自行破壞，遺棄於戰場。僅就臺兒莊附近戰場而言，該支隊僅有的2門155毫米重炮及4輛履帶牽引車以及8輛坦克均遺棄於戰場(後被第200師運至湖南湘潭修理)，可見其潰逃時的狼狽之狀。
臺兒莊內的日軍與第31師的部隊隔牆相接、鄰屋而戰。日軍想安全撤走，但守軍以密集火力及手榴彈封鎖，相當一部分日軍在撤退的最後一刻被殲滅。至7日凌晨4時左右，臺兒莊內的日軍全被肅清。
4月7日，日軍瀨谷支隊主力退至官莊地區，後方掩護部隊在獐山一帶。阪本支隊得悉瀨谷支隊北逃後，當夜亦在火力追擊下加速撤逃。本欲向東北、經向城返回臨沂，由於第20軍團主力均在東北方向，根本無力突出重圍，於是改向西北方向敗退，向第10師團部隊靠攏。
第五戰區司令長官李宗仁得知日軍北逃的情況後，於13時下達了追擊命令：“(1)臺兒莊附近經我孫、湯兩軍擊潰之敵，現向嶧縣方向逃竄中。(2)湯軍以一部肅清戰場，以主力由臺、棗支路(不含)以東，沿夏莊、馬山、九山、潭山以南地區向嶧縣追擊前進。(3)孫軍指揮張軫師(第110師)由臺、棗支路(含)向嶧縣追擊前進。(4)曹福林(堵擊兵團)應於嶧縣以北地區截擊敵人，勿使竄逸。(5)敵如退據嶧縣城，孫、湯兩軍各以一部佔領嶧縣東、西方高地，主力協同擊滅城外敵之野戰軍後，圍攻嶧縣城。(6)敵如以嶧縣城爲後衛陣地，孫、湯兩軍各以一部監視之，主力尾敵窮追。(7)孫震軍(第22集團軍)應由新閘子渡運河，追擊韓莊方面之敵。(8)李仙洲師應繼續經向城向東，掃蕩臨沂以西之殘敵，向臨沂前進。到達後歸張軍長自忠指揮。(9)予在銅山。”各部接令後，開始按命令追擊。
4月8日，瀨谷支隊主力集結於嶧縣地區，一部兵力佔領獐山、白山西；阪本支隊退至棗莊以南郭裡集一帶。第2軍司令官西尾壽造令第5師團以步兵第21旅團爲基幹的阪本支隊歸第10師團長指揮。磯谷廉介命令兩支隊“在現駐地附近大力整頓兵力，蒐集敵情，作好下一步進攻準備”。
在整個臺兒莊戰鬥期間，第3集團軍遵照第五戰區的命令，以有力部隊滲入到兗州以北地區進行遊擊作戰，以配合臺兒莊的作戰：3月23，第12軍的第81師夜襲兗州，殲敵一部，並將兗州以北鐵路破壞；3月26日，第55軍的第29師炸燬大汶口鐵路多處，使日軍列車脫軌；3月29日，第81師又夜襲大汶口飛機場，炸燬敵機8架等。
4月9日至11日，追擊的中國軍隊先後均已迫近嶧縣：左翼兵團進至嶧縣以南的白山西、泥溝一帶，右翼兵團進至嶧縣以東的土山、馬山一帶，堵擊兵團進至棗莊以北地區。此時日軍瀨谷、阪本兩支隊已集中兵力佔領了白山西、獐山、九山、郭裡集等各要點，一方面憑藉工事進行防禦，一方面以攻擊行動破壞和遲滯中國軍隊的進攻。因而第2集團軍及第20軍團雖然“連日猛攻，不惟進展甚緩，且頗多損失”。
中國統帥部對追擊行動緩慢甚感焦慮。4月12日，蔣介石致電李宗仁、白崇禧：“臺莊之捷已逾5日，嶧、棗、韓、臨尚未攻下。躊躇審顧，焦慮至深。以乘勝之軍更加主力部隊追援絕潰憊之寇，不急限期殲滅，一旦敵援趕至，死灰復燃，是無異隳已成之功而自貽將來之患。萬望激勵將士努力進攻，一面分途堵擊，務於一二日內將殘寇全數殲除。庶敵兵再至，我更有以待之。”李宗仁、白崇禧身在前方指揮，對日軍及所屬各部情況知之較深：第2集團軍經臺兒莊苦戰，人員傷亡慘重，且武器裝備甚差，實無力對裝備精良且又佔領既設陣地的日軍進行攻堅戰鬥；第20軍團的武器裝備雖然較好，軍隊實力亦強，但軍團長湯恩伯一向“避免攻堅”，而事實上在當時具體情況下也確實不宜以攻堅戰鬥取勝。李宗仁、白崇禧遂於4月13日覆電統帥部：“現敵改爲守，憑藉嶧縣附近山地爲據點，以棗莊爲犄角。我因陣線過廣，處處薄弱，連日攻擊，甚難成效，欲徹底消滅敵人，事實上恐難如願。第二期抗戰之方針，原在避免陣地戰，以運動戰消耗敵之兵力，而收‘集小勝爲大勝’之功。擬在包圍陣線上僅配置少數監視兵，將主力分別集結於便機動之位置，一面破壞敵後方交通，一面以小部隊先遊擊，誘致敵人於陣地外求決戰，無論敵何方增援，均可應付裕如。此爲職等連日在前方實地觀察，認爲迅宜改用之戰法原則。如蒙裁可，擬即相機實施。乞示。”4月15日，蔣介石致電李宗仁、白崇禧：“所擬機動攻勢案甚妥，應速實施。”
李宗仁、白崇禧欲殲滅嶧、棗之敵，但感到兵力不足。恰於此時又得到來自天津方面的失實情報，錯誤地判斷了日軍的作戰方針，於是致電統帥部參謀總長何應欽及其他決策人員，希望他們協助作出增兵第五戰區的決策。電報內容爲：“武昌何總長、徐部長次宸(軍令部部長徐永昌)兄、熊次長哲明(軍令部次長熊斌)兄、林次長蔚文(軍令部次長林蔚)兄：(1)津息：臺兒莊勝利已激起日方反戰運動，致預定由國內增加8師亟早解決華北戰局之計劃打消，現在向魯南之增兵，均由各戰場抽調而來。(2)我如能把握臺兒莊勝利之果而早日解決嶧縣之敵，則可擴大敵之反戰運動，慫動國際力量之觀聽。確立我勝利基礎，在此一舉。擬請委座集中所有力量爭此一着，務盼兄等主持一切，以期早觀厥成，是所盼禱。”統帥部同意他們的看法，開始向第五戰區增兵。但事實上日本大本營於4月3日就已決定集中兵力發動徐州會戰。此時，“華北方面軍”第2軍基本上已調整部署完畢。4月18日第10師團即開始轉爲進攻，徐州會戰進入了後期——徐州突圍階段。
在臺兒莊地區戰鬥中，中國軍隊傷亡及失蹤人員總計約1萬餘人，日軍第10團及第5師團傷亡約7000餘人(不包括臨沂地區戰鬥中的傷亡人數)。
以上，是臺兒莊戰役的所有過程及結果。。。