這個時候，臺兒莊及其附近地區的敵我態勢非常的微妙。在臺兒莊內，日軍第十師團的瀨谷支隊，在瀨谷旅團長的親自率領下，已經佔據了半個臺兒莊，而且還在不斷向據守臺兒莊西半部分的中國軍隊發動進攻。由於敵軍的火力佔據着很大的優勢，莊內的守軍只能努力的支撐，每時每刻，都在承受着巨大的傷亡。而在臺兒莊外，第2集團軍的第27師黃樵鬆部，第30師張金照部和第20軍團第52軍關麟徵部已經對瀨谷支隊構成了包圍態勢。在臺兒莊北部外圍的戰線上，奉命支援瀨谷支隊的日軍第五師團阪本支隊又對第52軍側背形成威脅。第20軍團的第85軍、第75軍則又在日軍的側後，對日軍的安全構成潛在的威脅。任何一支部隊的舉動，都可能對整個戰局的走向構成極大的影響。
瀨谷啓旅團長最近的情緒很不好。本來，在他的心目裡，那些裝備低劣的支那軍隊怎麼可能是他指揮的裝備精良，訓練有素，作戰經驗豐富，而且自從天津塘沽登陸以來，作戰行動一直是順風順水，簡直可以用旌旗所到之處，無不望風披靡來形容的姬路師團瀨谷支隊忠勇將士的對手。他在從濟南出發之前，還向師團長磯谷廉介中將信誓旦旦的保證過，只要有一個步炮協同的戰術單位，頂多也就是一個聯隊的兵力，就可以把所有膽敢在瀨谷支隊前進道路上進行抵抗的支那軍隊全部消滅。可是，這次軍事行動，顯然不像以前在河北和山東其它地方的進軍相提並論。以前的進軍，與其說是進軍，不如說是火力演習，只要一排炮打過去，對面的那些膽怯的支那人，就紛紛丟下了陣地亂成一團的潰敗，也就是在德州，才遭遇過當地一個團駐軍的抵抗，也沒有用什麼功夫，就把那一個整團的支那軍隊，全部消滅了，還把帶着一個旅過來支援的什麼山東省主席嚇得坐上一輛三輪摩托匆忙丟下部隊跑回了濟南。此後的進軍，就更是順利了，簡直就是武裝旅遊，一路所到之處，幾乎毫無抵抗。
可是，不知道爲什麼，從2月開始，進軍就不再像以前一樣順利了。那些支那人，好像個個都吃了藥一樣，不管手裡的武器怎麼樣，拼命的抵抗大日本皇軍，還不時地發動反衝鋒。就像在滕縣遇到的那些支那人，手裡的武器簡直可以送到軍事博物館了，可是卻硬是要和大日本皇軍玩命，最後竟然連傷員都不肯投降。以前那些懦弱的山東部隊，也拼命的從四面八方向自己的支隊發動各種方式的進攻。雖然，這些進攻對於自己這支精銳部隊來說，不算什麼，並沒有用很大的力氣，就解決了，但是，速度，最關鍵的速度，被拖慢了。到了臺兒莊這個地方，本來發現在這裡防守的支那軍隊竟然背水結陣，自己也就認爲他們並不打算和自己拼命的，只要自己向他們展示一下皇軍強大的火力，他們支持幾個小時，就會後退，方便向他們的指揮官交待的。結果卻不是這樣，這些背後揹着大刀片的支那軍人，幾乎個個都不要命，拼命的抵抗皇軍將士。即使自己使用了大量的火炮進行無差別的覆蓋性炮擊，還出動了坦克和航空兵掩護，但是，這些支那人還是藉着一個一個院子的院牆，狹窄的街道，進行抵抗，甚至對坦克使用了肉彈攻擊。到了晚上，整個臺兒莊更是成爲了這些支那人的天下。支那軍人使用大刀，和皇軍將士進行近身的格鬥，還特別無恥的喜歡砍下終於天皇陛下的勇士們的頭顱。這種情景，不能不使人想起當年的喜峰口。雖然，爲了天皇陛下，爲了大東亞聖戰，皇軍的勇士們可以毫不憐惜自己的性命，但是，丟了腦袋，死後的靈魂可是無法進入靖國神社的。這不能不使得自己手下的官兵，在白刃戰時有一些縮手縮腳，唯恐是被砍了頭而死。到了前幾天，莊內更是出現了身穿黃綠色軍服的支那中央軍嫡系部隊。這些中央軍部隊，他們的武器可是不像那些拿大刀的支那地方部隊那麼差，而且，他們顯然在小組戰術上，更加的熟練。幾個人組成了戰術小組，各有負責，互相掩護，特別是喜歡使用炸藥包，不論是炸塌院牆，還是投擲到皇軍的工事裡，都對皇軍的防禦體系的完整性造成了很大的威脅。更加可怕的是，他們經常向皇軍佔領的院子裡，投擲一種玻璃瓶，一旦碎裂，就會有汽油流淌出來，引起火勢和濃煙。
由於那些低賤的支那人的愚蠢舉動，自己的部隊在這個小小的莊子被拖住了，一個多星期了，一直沒有能夠完成佔領這個莊子，打通進攻支那東部重鎮徐州通路的任務，而且，支隊的兵員損失和彈藥消耗都很大。這種情況，已經讓在後面坐鎮的磯谷師團長閣下感到很不滿了。雖然，到目前爲止，他一直都沒有明白地說出來，對支隊所提出的各種要求，甚至是請求師團給予戰術指導的請求都予以了充分滿足，但是，誰都不知道閣下的耐心，還能夠保持到多久？這種危險已經從閣下打來詢問戰況的電話的頻率，一天天增加就能看得出來了。
這幾天，自己的後方也顯得不是那麼安全了。本來，一直被皇軍的軍威所震懾呆在抱犢崮一帶山區不敢出來的支那中央軍湯恩伯部，也突然溜下了山，出現在自己的後側，對自己部隊的安全構成了巨大的威脅。幸好，第五師團的阪垣師團長閣下，及時地派出了板本旅團長帶領一個支隊，對湯恩伯的部隊，進行了進攻，才使他們不能對自己展開進攻。這下就緩解了自己的壓力了。當然，最好的解決問題的辦法，還是儘快的徹底佔領臺兒莊。只有佔領了臺兒莊，才能使師團長閣下忘記此前的一切不順利，也才能使自己的前途保持順利，免得被來自軍部的審查人員帶回國內。如果自己要使落到那個地步，結局最好的也是被轉入預備役了，甚至還有可能被關進軍事監獄，剝奪一切的榮譽。自己和自己的家人，就將永遠難以再擡起頭來的。
所以，無論如何，在沒有接到放棄進攻臺兒莊的命令之前，自己就必須不斷的進攻臺兒莊，儘快地佔領臺兒莊。
瀨谷啓旅團長，命令所部官兵，不惜一切代價，發揮大和魂的巨大威力，徹底的擊潰當面的支那軍隊。第十師團的官兵，不少都是參加過1936年的“二二六兵變”的激進派，對於日本必須依靠不斷的擴張，使用軍事手段擴大帝國疆域，才能保持帝國生存的理論，信奉不疑。在接到旅團長的命令以後，瀨谷支隊的官兵，就象剛剛注射過海洛因一樣，在密集炮火的掩護下，不顧守軍不斷髮射的子彈的殺傷，對莊內的守軍發動逆襲。
臺兒莊各處陣地都遭到日軍強烈的反攻，防守西北角的孫連仲部又陷入苦戰之中。當然，在西南角的新編十四師部隊，所受到的壓力一點也不比31師部隊受到的壓力小。
圍繞着西南角的幾個比較高大的院落，雙方部隊展開了逐房逐屋的爭奪，各自在院牆上開挖搶眼，向對方近距離射擊，甚至是隔着一堵牆，兩方面的軍隊互相向對方投擲手榴彈。臺兒莊內到處喊殺聲一片，經常是日軍剛佔據一座院子，國軍馬上組織部隊，回頭殺了回去。國軍剛剛奪回院子，還沒有來得及喘上一口氣，日軍部隊又殺了進來。爲了一個院子甚至是一間屋子的控制權，雙方能反覆爭奪十幾次，直到有其中一方無法忍受巨大的傷亡，放棄爭奪爲止。
4月1日公佈，“日本國家總動員法”。日本天皇，授權內閣，對戰爭所需的勞動力、資源、資金和設施等進行統制的法律。以敕令形式把統制權授予內閣。同年5月5日實施，共50條。規定在戰時統制的物資是：兵器、艦艇、軍需品、被服、糧食、醫藥品、船舶、飛機、車輛、馬、通訊機械、土木建築物資、燃料、電力等。統制的範圍包括：物資的生產、流通、進出口、運輸、通行、金融、工生、教育、研究、情報、宣傳、警備等。還規定，在必要時可強制實施對國民的徵用，規定勞動條件、禁止勞動爭議，限制集會、羣衆運動、停止報刊發行等。1941年修訂後統制權限進一步擴大，政府有權獨自頒佈敕令，強行進行戰時動員，完全否定了議會對立法的審議權，增強了日本的法西斯專制統治。
這一天的夜裡，由於多日的連續苦戰，雙方的部隊都已經顯得疲憊不堪，爲了對部隊進行重新編組和休整，莊內的激戰暫時沉寂下來。劉建業不得不把在莊內連續戰鬥了幾天的新編五十二旅從莊內撤了下來進行休整和重編，以新編五十一旅的部隊進行替換，繼續堅守莊內陣地，並不斷向敵軍發動反攻。新編五十二旅原本奇裝滿員的六個營，經過幾天不分晝夜的連續作戰，在敵人密集的炮火覆蓋和坦克，毒氣等的進攻下，雖然有地道作依託，依然損失了相當於一個半營的部隊。新編五十二旅下屬的新編一八七團第二營，一直堅守在臺兒莊的南門。那裡是敵人的主要進攻方向之一。敵人對那裡投入了相當於一個大隊的兵力，進行反覆衝擊。第二營依靠着自制的地雷，炸藥包，燃燒瓶，和敵人進行了持久的拉鋸，直到被撤換下來，一直沒有丟掉對於莊內守軍意義重大的南門。可是，這個營也被高強度的連續作戰，徹底打殘了。全營原先近五百名官兵，在多日的戰鬥以後，直到撤到莊外的時候，連帶傷員在內，只剩下一百四十多人了，勉強夠編成一個步兵連。僅僅是這個營的營長，在三天三夜的戰鬥裡，已經更換了四個，全部都是正面中彈，傷重殉國。
見到這些自己的部下從前線撤下來，劉建業眼角閃着淚花，嘴脣顫抖着，實在無法說出話來，只有舉起了自己的右手，向這些勇士們致以軍人的敬意。這個時候，一切的語言，已經都失去了意義。只有軍旗手手裡高舉着的獵獵軍旗，依舊迎風招展，向整個世界表明他們的光榮和無畏。
4月2日，敵人奉命支援臺兒莊的第五師團阪本支隊，被周?壞?5軍和關麟徵第五十二軍在臺兒莊東北死死的頂住，使盡渾身解數，也無法前進一步，眼睛可以看到臺兒莊內高高飄起的硝煙，耳朵可以聽到莊內震天的喊殺聲，就是無法進攻到莊內，與正在莊內陷入苦戰的瀨谷支隊會合。鑑於我軍面臨的態勢，第五戰區司令部給各參戰軍團下達任務：
一、第20軍團（含第75軍）以一部消滅洪山鎮北方之敵，以主力於3日保持東南正面，向臺兒莊附近之左側背攻擊，逐次向左迂迴，務在臺兒莊左側地區，將敵捕捉殲滅之。因戰況進展，須隨時折斷敵自嶧縣之退路，並對向城方向增援之敵嚴密警戒。
二、第2集團軍右翼與第20軍團聯繫，於3日全線攻擊，消滅臺兒莊之敵；第110師準備以1旅由萬里閘附近渡河，向北洛附近敵之右側進攻。新編十四師臨時配屬第2集團軍，協同行動。
三、第3集團軍前敵總司令曹福林指揮張測民支隊5個團及遊擊總指揮李明揚所部爲堵擊兵團，迅速南下向棗莊、臨城合圍。
4月3日，第五戰區司令長官李宗仁對臺兒莊地區各部隊下達總攻擊令。第52軍、第85軍、第75軍在臺兒莊附近向敵展開猛烈攻勢。日軍拼力爭奪，佔領市街大部。總攻開始以後，日軍頑強抵抗。
臺兒莊守軍第31師的4個團已經傷亡過半，由第30師調入城內的兩個團接替了部隊陣地，傷亡也很嚴重。同樣在城內堅守的新編十四師，儘管武器裝備優於第2集團軍，但是畢竟是新組建編成不久的部隊，雖然有一些老兵作爲骨幹，但是大多數的兵員還是沒有作戰經驗，在敵人的密集火力下，不知道如何有效的保護自己和殺傷敵人，所以，所受的損失也不小。幸好，由於劉建業命令工兵挖了不少時間的地道和防空洞，才使部隊可以輪流到地道和防空洞裡休息，恢復精力以後再次投入戰鬥，使得城內的戰鬥部隊，幾乎任何時候都能保持相對旺盛的體力和戰鬥意志。
敵人在反覆衝擊無效的情況下，利用毒氣彈開路，在毒氣的掩護下，向我軍發動進攻。在一陣陣黃綠色的煙霧過後，我軍官兵許多人掙扎着倒在地上，身上暴露部位的皮膚開始潰爛，流出黃水，喪失了戰鬥能力。面對這種情況，劉建業也是無能爲力，誰叫自己的祖國沒有化學戰報復能力呢？結果只能是被敵人肆無忌憚的使用這些國際法嚴格禁止使用的殺人利器。看到自己的部下，一個個無助得倒下，劉建業只能忍痛下令，收縮兵力，放棄部分陣地，以避免無謂的傷亡，等到晚上再來收拾這些窮兇極惡的鬼子。
時至下午時分，臺兒莊城西北門、北門、東門、東南門均已陷於敵手，日軍佔領四分之三的臺兒莊地盤。守軍31師仍據守城內一隅，拼死堅守，並組成大刀隊夜襲敵人，予敵以很大殺傷。敵軍連續發動了七八次總攻，並且使用燃燒彈，妄圖摧毀城內所有房屋和軍民，將臺兒莊夷爲平地。城內各守備隊利用地形和斷牆殘壁，築起第三道陣地工事，挨街逐巷與敵人周旋搏鬥，並組織起200餘人的奮勇隊，偷襲敵人據點，連連突破敵人陣地。守軍雖然英勇奮戰，但傷亡太大，實力愈來愈不支。此時的日軍，顯然覺得對於他們來說，攻佔臺兒莊的任務即將完成，當面的中國守軍已經無法對他們的進攻進行有效的抵抗了。顯得迫不及待的他們，對着進行電話採訪的日本共同社記者宣佈，臺兒莊已經被百戰百勝的大日本皇軍佔領，背後的皇軍士兵正在高呼“天皇萬歲”。日本電臺立刻對這個消息進行了大肆吹噓。廣播裡，日本的播音員用足以震斷鋼絲的高亢語調，宣稱日本軍隊已經在臺兒莊取得了決定性的勝利，佔領了整個臺兒莊，中國守軍的抵抗已經被徹底粉碎，面向中國東部重鎮徐州的進軍道路，已經向皇軍敞開了，在皇軍的進攻下，徐州指日可下。