當面之敵是由日軍步兵第63團第2營及野炮兵第10團第1營組成的，配屬有坦克、裝甲車、野炮及騎兵隊，共1000餘人。就當時中日軍隊的實力對比看，日軍的這支混合部隊，除了人數以外，其無論是在部隊的機動性方面，還是在火力配備上，都超過了中國軍隊一個普通師的水平。
第93旅騎兵連百餘官兵都是久經沙場的老兵，他們在隊長王保坤和連長寇保貞率領下，佔據有利地形，打退了敵人一次又一次的進攻。日軍見久攻不下，於是調集大炮，對中國軍隊陣地轟擊，守軍全隊官兵抱定與陣地共存亡的決心，爭取儘量滯阻敵人，使後續部隊有充分的時間作好迎敵準備。手榴彈使用殆盡，仍然頑強堅守陣地，不肯退卻。最後，在敵人的輪番攻擊下，陣地終於失陷，全隊官兵傷亡過半，被迫後撤。
31師北上搜索分隊與敵南下進攻之旅在路途中遭遇，在敵強我弱的情勢下，中國軍隊以頑強的鬥志，較小的代價，滯阻日軍於臺兒莊外，初步打破了日軍急於南下，抵達運河一線的計劃。
根據敵情，池峰城於當日晚對各部隊的任務作了部署：騎兵仍活動於潘家庵附近地區，監視嶧縣敵人行動；第93旅以一部置於南洛、孫莊各據點，主力置於板橋；第186團仍任臺兒莊之守備，速構築防禦工事；第92旅以一部進駐臺兒莊北站附近，並迅速加強該地工事。
同日，第5戰區司令官李宗仁得到第31師與日軍遭遇，日軍已進至北洛的戰報後，當即給第2集團軍孫連仲下達命令：孫總司令即赴臺兒莊指揮；駐賈汪(距臺兒莊西南30公里處)之27師星夜徒步向臺兒莊附近集結。
孫連仲受命後，即率第2集團軍司令部於24日晨4時抵達臺兒莊運河以南5公里處的韓家寺，親臨調度指揮。並急令第27師速開至臺兒莊附近地區。
第27師是孫連仲的基幹部隊，孫連仲曾任該師師長。由於是孫的“嫡系”，因此經孫連仲爭取列爲國民黨軍隊“調整師”編制，其裝備、軍械雖不如蔣介石嫡系部隊，但較第2集團軍的其他2個師稍爲優良。
黃樵鬆是一個有着民族氣節的愛國軍人。他十分痛恨國民黨軍隊中的那些對日軍作戰時貪生怕死、保存實力的將領，稱他們爲“非炎黃子孫，實爲中華民族的敗類”。他把滿腔的悲憤化爲抗擊日寇的行動，在娘子關戰役中，他身先士卒，率部痛擊日軍，擊斃日軍步兵第70聯隊聯隊長鯉登大佐。娘子關戰鬥後，黃樵鬆接替馮安邦任第27師師長。
當3月24日晨4時，黃樵鬆接到孫連仲命其部速開臺兒莊的命令後，晨5時，黃樵鬆即率第27師從賈汪附近地區出動，3個梯隊徒步向臺兒莊前進。下午6時，部隊抵達臺兒莊南站附近。
日軍佔領獐山後，十多架飛機飛臨臺兒莊上空，對臺兒莊及附近炮陣地濫施轟炸。每架98式轟炸機上，都裝載着300～450公斤炸彈。頃刻之間，臺兒莊被硝煙烈火籠罩。狂風暴雨般的炮彈，把臺兒莊外圍陣地工事基本摧毀，敵人步步逼近，向北洛猛攻。185團王鬱彬團長督率高鴻立營奮勇抵抗。在優勢敵軍的攻擊下，且戰且退，於夜幕降臨時退至南洛，傍晚，日軍追擊185團到南洛，被伏兵所阻。敵趁勢佔領了北洛，與中國守軍相對峙。
3月24日凌晨4時，孫連仲總司令到達臺兒莊，把集團軍指揮部再次前移到運河南岸的韓家寺指揮作戰。中午，磯谷師團瀨谷支隊主力逼近臺兒莊，向守軍猛烈開炮。同時，日軍還調動了飛機對臺兒莊反覆轟炸。湯恩伯送來的重炮營業不顧敵人的炮兵壓制，頻頻向敵還擊。敵人開炮兩個多小時後，步兵在坦克的掩護下，向臺兒莊衝鋒。敵坦克十分兇猛，守軍無平射炮，又無坦克，無法反擊，全憑血肉之軀與坦克搏鬥，至死不退。守軍笫31師依託城牆，憑藉將士們一腔熱血和血肉身軀，將日軍迭次攻擊均予擊退。當日傍晚，日軍曾突破臺兒莊城牆東北角，又被守軍186團利用密集的手榴彈和大刀隊近身拼殺，殲滅200餘人，才被驅逐出去。
這一天，一早就接到了臺兒莊地區戰事打響的消息的中國最高領袖蔣委員長，深知這場作戰的重要性，親自率領軍令部長徐永昌等人到徐州視察戰局，並且設法調動所有能夠動用的部隊，前往徐州的第5戰區增援，準備給予孤軍深入的日軍重大的一擊，不惜花大的血本，非要打敗這股不可一世的驕兵，以爲幾個月來在前線陣亡殉國的數十萬國軍將士出一口惡氣。
24日晚12時，白崇禧在孫連仲的陪同下，親臨臺兒莊前線視察。他們先來到韓家寺第2集團軍司令部，聽取孫連仲的彙報，然後又來到臺兒莊南站第31師師部瞭解戰況。
“白總長，孫總司令，鬼子的炮火實在是太厲害了，簡直就是鋪天蓋地地向我們師的陣地上面打過來。不少將士在戰壕裡就被敵人的炮彈打傷了，失去戰鬥能力。我們師只有步槍機槍和迫擊炮，火力和敵人相比實在不是一個檔次，差得太多了。而且，敵人還出動了坦克掩護步兵進攻。坦克這個東西，我們拿它幾乎沒有什麼辦法，機槍子彈打上去根本沒有任何效果。我們只有用人帶着成捆的手榴彈，和鬼子坦克同歸於盡。只是這樣對我們的損失，實在是太大了。我估計照這個樣子下去，我們師實在撐不了幾天了。”第31師師長池峰城向白崇禧和孫連仲倒着苦水，一邊說，一邊還不時地咳嗽着。
“沒有重火力，我來想辦法。我只要你能保證你的部隊，死死的守在臺兒莊，把鬼子拖住，絕對不能把臺兒莊讓給日本人。”白崇禧向池峰城說着。
“給我接新編十四師的電話。我是白崇禧。”對池峰城說完以後，白崇禧轉身拿起了電話。
“是新編十四師嗎？我是白崇禧，叫你們師長接電話。”
“白總長，有什麼吩咐？”劉建業這個時候也沒有睡覺，雖然戰火暫時還沒有波及自己的部隊，但是，他仍然隨時關注着局勢的發展。
“你能不能把你的炮兵營借給莊內的31師用用？”白崇禧雖然說的話象是商量，實際上語氣已經告訴對方，這個要求不容拒絕。
“沒有問題，只要他們派聯絡軍官來，指示炮擊目標的位置，我保證我的炮兵營火力隨喊隨到。”劉建業一向認爲，只要是打鬼子，就沒有廢話可說。再說，現在是白總長親自打來電話，自己也不能薄了人家堂堂二級上將的面子。
“好，就這樣說定了。仗要是打贏了，我給你記一功。”白崇禧很高興得放下了電話。
“給我接徐州的李長官。”白崇禧又撥了李宗仁的電話。
“德公啊，31師他們的士氣都不錯，就是火力實在太差了，被鬼子壓得很厲害。鬼子還有坦克也上來了，他們的困難很大。我已經讓新編十四師的炮兵營支援他們了。可是，火力還是差得多。你看是不是能在調來一些重炮，也給他們撐撐腰？”
“健生，他們沒有重炮支援，我馬上想辦法，把炮兵第10團的第1、2兩營，重炮第1連，連夜調過去。你要提醒他們，不管付出什麼樣的代價，必須在臺兒莊死死的頂住，絕對不能撤下來。否則，韓復榘就是榜樣。”炮兵兩營裝備的是仿造的克虜伯野炮，炮彈口徑爲76毫米，最大射程13公里，每營配備此炮8門。重炮連裝備的是德國造萊因式重榴彈炮，炮彈口徑爲150毫米，最大射程爲15公里，炮連配備此炮3門。這種炮是當時國民黨軍隊中射程最遠、威力最大的野戰重炮，可惜數量實在有限。
“好的。他們也已經表過決心了。這個你可以放心。我就不打擾你了。”
“給我接第一戰區的程長官。”白崇禧剛和李宗仁通過話，又撥了第一戰區司令長官程潛的電話。
“頌公（程潛字頌雲，故被尊稱頌公）啊，是我白健生啊，這麼晚還打攪你，實在是不得已啊。我現在正在臺兒莊，31師的師部這裡。他們白天打得很慘，火力實在是太弱了，而且日本人還使用了坦克，他們很難對付啊，傷亡實在太大了。照這個樣子，他們很難支撐下去。所以，我來向你求援了，能不能調一些戰車防禦炮來？”
“這個，我答應你。我把第200師炮兵第52團第8連調過去吧。他們有六門戰車防禦炮。再多了，我也沒有辦法了。我再給你調一個戰車中隊來，你看怎麼樣啊？”程潛答應得很爽快。戰車防禦炮是由重慶五零兵工廠仿瑞士厄利孔反坦克炮製造而成，炮彈口徑爲37毫米，最大射程3000米，每分鐘可連續發射炮彈20發。此炮發射的穿甲彈，穿透能力強，對坦克很有威脅力，而發射的爆炸彈則可給人員造成大量的殺傷。此炮屬於30年代的新式產品，裝備於新近由裝甲兵團擴編的第200師。
“實在是太好了，我就先謝謝頌公了。我就不打攪頌公了。再見。”
白崇禧放下電話，心情很高興的對着孫連仲和池峰城說：“李長官答應給你們調重炮來。一戰區的程長官，也答應了給你們調來一個連的戰車防禦炮和一個戰車中隊。另外，你們派一個聯絡軍官到新編十四師，他們的炮兵營，也答應聽你們指揮。你們看，怎麼樣啊？”
孫連仲和池峰城本來對於火力支援，並沒有抱多少希望。結果，白崇禧卻一下子給他們調來了他們原先想都不敢想的東西，實在是讓他們深受感動。同時他們也感到自己的責任越發重要。
兩人對視了一眼，孫連仲說道：“上峰對我們實在是太好了，給我們這麼多的支持，如果我們還不能打贏，那就實在是太說不過去了。我保證，只要我們第二集團軍還有一個人在，臺兒莊就一定在我們的手上。”
池峰城的臉上全是激動的紅暈。他激動地向白崇禧和孫連仲表示：“只要我們31師還有一個能喘氣的，就是死也會死在臺兒莊裡，絕對不會讓小鬼子佔領臺兒莊。”
“好，好，你們這樣說，我就放心了。”白崇禧看到兩人如此的表示，也很高興。
白崇禧又將臺兒莊和徐州的戰事向蔣委員長作了彙報。蔣委員長爲了使整個會戰能夠穩操勝券，同時鼓舞浴血奮戰的國軍將士的士氣，命令飛機已經所剩不多的空軍，出動飛機到徐州戰區，對地面的日軍部隊進行轟炸，又下令集結於武漢附近的黃傑、桂永清、俞濟時、宋希濂、李漢魂各軍火速向徐州地區增援。
一時間臺兒莊地區大軍雲集，一場激戰眼看就要爆發。