１３８年１月旬，日本“華方面軍”分佈在以下各地：
方面軍司令部位於南京，第１０軍司令部及第１８師團在杭州地區，第１４師團在湖州地區，第師團在蕪湖地區；“上海派遣軍”司令部及第１師團在南京地區，第３師團在鎮江、常州、無錫地區，第師團在蘇州、崑山、太倉地區，第１０１師團在上海地區，第１３師團在滁縣、來安、全椒地區，第１１師團之第１０旅團在揚州地區。
日軍第１３師團自１３７年１２月２０日不戰而佔滁縣及其附近地區後，不斷向北推進。第五戰區防守淮河以南地區的第１１集團軍第３１軍的主力控制於明光附近，利用半塔集、自來橋、張八嶺及藕塘等丘陵地帶的有利地形阻止北進日軍，並不時以小部隊實施襲擾性反擊。
１月１５日，日軍第１３師團第２旅團由滁縣沿津浦路向北進攻，國守軍以運動防禦逐次退守池河西岸，日軍於１８日佔領明光。
１月２日，日“華方面軍”下令，命第１３師團“殲滅鳳陽、蚌埠附近之敵”，第１３師團遂部署３路向北進攻；第２旅團長沼田德重率步兵４個大隊、配屬山炮２個大隊，爲東路，從明光渡池河，沿津浦路向蚌埠進攻；第１３師團長荻洲立兵自率主力爲路，從滁縣出發，在池河鎮渡池河，由總鋪、鳳陽向蚌埠進攻；第５聯隊長兩角業作率步兵３個大隊、配屬山炮１個大隊，爲西路，從全椒出發，在大橋鎮附近渡池河，經定遠、西三十里店、年家崗，迂迴至高塘湖北端之上窯地區，掩護並準備策應東路軍、路軍的作戰。經激烈戰鬥後，三路日軍先後突破池河防線，進至西岸。
我守軍第３１軍按李宗仁的命令，將主力西撤至蚌埠西淮南鐵路一帶，待命側擊北進之敵，以一部兵力在淮河、池河之間進行逐次抗擊。東路日軍於２８日渡過池河，２月１日攻佔臨淮關，２日佔領蚌埠；路日軍於２日渡過池河，２日佔領鳳陽；西路日軍於２８日渡過池河，２日佔領定遠。
當日軍強渡池河時，李宗仁爲加強南線的防守力量，急調第５１軍由碭山南下增援。
第１１４師首先到達，立即在蚌埠至五河間淮河北岸佈防，並趕修工事。日軍第２旅團於１日攻佔臨淮關，次日晨在主力進攻蚌埠的同時，派出１個大隊，在飛機、炮兵火力掩護下，由淮河向南凸出處強渡淮河。激戰４小時，被守軍第３４０旅擊退。
蚌埠守軍於２日退向淮河北岸，並炸燬了淮河大橋，但原停泊在南岸的數百艘民船未及撤走。２月３日，攻佔蚌埠的日軍第２旅團又以約２個大隊的兵力乘民船在蚌埠以東實施強渡。防守該段的第３４２旅英勇抗擊，但仍有一部日軍登上北岸。２月４日晨，第５１軍的第１１３師車運到達，與第１１４師協同反擊，將已登上北岸之敵擊退。但當日日軍第２旅團另一部兵力在蚌埠以西渡過淮河，攻佔懷遠，進抵渦河南岸；第５聯隊亦進至上窯。第５１軍調整部署：命第１１３師及安徽省保安第２團防守小蚌埠至懷遠、渦河北岸一帶河岸陣地；第１１４師在其左翼，防守臨淮關北岸至西門渡河岸陣地。軍部位於固鎮。
２月８日，日機２０餘架轟炸小蚌埠，立即又以炮兵進行火力準備，將河岸防禦工事全部摧毀。千餘日軍在炮火掩護下乘民船、汽艇實施強渡。守軍頑強抗擊，兩次擊退渡河日軍。當晚２３時，日軍又進行夜間強渡，一度登上北岸，攻佔了小蚌埠。第１１３師師長周先烈令第３３７旅反擊，激戰至日１時，恢復了陣地。１０日拂曉，日軍再次發動大規模的強渡進攻，１０時前後攻佔了小蚌埠。第１１３師全力反擊。雙方反覆爭奪多次，小蚌埠終於爲日軍佔領。
２月１０日，與侵佔蚌埠日軍發動進攻的同時，侵佔臨淮關的日軍亦發動強渡進攻，時前後首先突破晏公廟沿岸陣地，不久佔領梅園、前阪、新莊等地。第１１４師師長牟珩令第３４０旅組織反擊，浴血肉”一整日，奪回新莊、梅園等部分陣地。
但至１１日，日軍後續部隊渡過淮河，第１１４師傷亡２０００餘人，終因兵力、火力不足，無力恢復及守住沿河岸的陣地，被迫撤至沫河口、年家廟之線。由於沿岸陣地多處被突破，許多守軍部隊因軍官陣亡而失去指揮。爲集力量、整頓部隊，第５１軍軍長於學忠下令全軍於１１日夜向淝河附近之何集、新馬橋之線轉移。
２月１３日，李宗仁將剛剛轉隸五戰區的張自忠之第５軍調至固鎮附近，接替了第５１軍的防地。第５１軍撤至西寺坡車站一帶休整。第５軍部署第３８師防守固鎮以西瓦疃集至楊店之線，第１８０師防守楊店至固鎮東南徊小樓之線，軍部位於任橋。
此時日軍第１３師團主力的大部進至淮河以北。李宗仁命第３１軍由淮南鐵路向上窯、鳳陽，令新隸五戰區的第２１集團軍第７軍由合肥嚮明光、定遠分別實施側擊；同時要求空軍支援，轟炸蚌埠、臨淮關之敵，迫使日軍將已渡淮北的主力撤回淮南，以加強蚌埠及津浦鐵路的防守。張自忠乘機於１５日令第１８０師和第３８師各組成一個加強團，向小蚌埠之敵實施反擊。經戰鬥，收復小蚌埠，淮河以北的日軍全部撤回淮河以南。
２月１７日後，津浦路北段形勢趨緊，日軍開始由濟寧向運河以西的第３集團軍進攻。２０日，李宗仁按蔣介石的指示，電令“張自忠即調赴臨城待命”。津浦路南段仍由於學忠的第５１軍防守，暫時與日軍隔淮河對峙。
２月上旬，當南線戰場日兩軍正在蚌埠地區淮河南岸進行激烈的渡河攻守戰鬥時，第五戰區爲防止北線日軍乘機南下，遵照軍事委員會的意圖，採取以攻爲守的戰術，於２月日命令第３集團軍向濟寧、第２２集團軍向鄒縣、第３軍團向蒙陰發動攻勢。各部分別進行了反擊的準備。
第３集團軍當時仍防守於魯西南地區，總司令部位於曹縣，第１２軍駐定陶、城武地區，第５５軍駐金鄉。代總司令孫桐萱接受的任務主要是以主力攻佔濟寧，以一部攻佔汶上，爾後向濟寧、兗州間實施側擊，策應主力作戰；目的是確保隴海鐵路的安全和威脅沿津浦路南下日軍的右側翼，相機切斷津浦鐵路之交通。
日軍於１月４日佔領兗州、曲阜，日佔領鄒縣，１１日攻佔濟寧。此時，濟寧日軍爲第２軍第１０師團第８旅團的第３聯隊主力，約１５００人，大部控制於南關，城守衛部隊約４００餘人；汶上日軍爲第３聯隊的第３大隊，約５００人。第８旅團主力與第１０師團司令部位於兗州。孫桐萱於２月１０日下令，命第５５軍由金鄉向濟寧南關之敵進攻；命第１２軍的第２２師由定陶經鉅野、嘉祥迂迴至濟寧以北的二十里鋪附近，爾後向濟寧北門進攻，協同第５５軍收復濟寧城；命第８１軍對汶上之敵進行襲擾。規定２月１２日拂曉前到達進攻出發地位，１２日開始進攻。
曹福林的第５５軍派出一部兵力前進至濟寧西南安居鎮附近運河西岸，進攻開始時僅以第１７１團及第４３團各一部渡河，向濟寧火車站及西關等地進行襲擾，並未以主力實施進攻，不久即爲日軍擊退。
谷良民的第２２師到達嘉祥以東的運河西岸後，部署以第４旅爲主攻部隊，第旅爲預備隊，隨師部控制於運河西岸。第４旅由大長溝通過運河木橋，於１２日拂曉前到達進攻出發地位；第１２７團控制於二十里鋪，掩護主力進攻，對汶上日軍進行警戒；第１２８團及第１２團秘密配置於濟寧北關兩側，旅部推進至興鎮。
根據事先偵知的情況，本來預定天明後以小分隊化裝成居民潛入城內，然後發起進攻，裡應外合，控制城門，殲滅城內日軍。但日軍已有覺察，當天未開東、西及北城門。第４旅旅長時同然急令北關的兩團改爲攀城強攻。
１２日２２時左右開始用長梯多路同時攀城進攻，傷亡甚衆。後在西北城角處擊坍一段城牆，約有個連從缺口突入。日軍第３聯隊大佐隊長沼田多稼藏將主力調入城增援，首先以反衝擊控制了城西北角的缺口，切斷城內外**隊的聯繫，然後向突入城的部隊發起圍攻。雙方在北大街及城西北隅關帝廟一帶展開了激烈的肉搏巷戰，逐屋爭奪。突入的部隊孤軍奮戰，彈藥及人員均得不到補充，血戰一日夜，至１４日拂曉，個連的勇士全部壯烈犧牲。
在城北的第４旅殘部，１３日２３時接到孫桐萱令其向運河西岸撤退的命令，在當地羣衆協助下，從北關外小道通過沼澤地轉移至運河東岸，由第旅接應，用民船渡過運河，到達西岸。掩護撤退的後衛營損失較大，營長戰死；負責接應的第旅旅長薛明亮亦彈負傷。第３集團軍實際參加進攻濟寧戰鬥的不過１個旅的兵力。在人員不佔真正優勢、武器裝備處於絕對劣勢的情況下實施攻堅戰鬥，雖然廣大愛國官兵拼死奮戰，仍不可能實現軍事委員會及第五戰區的戰略企圖。
展書堂的第８１師於１２日夜開始進攻汶上城，一度攻入北關，受日軍猛烈火力襲擊，傷亡甚衆。由於濟寧方面的第４旅已撤回運河西岸，第８１師亦主動撤至開河鎮附近，沿運河之線防守。
２月１７日，日軍第２軍參謀長鈴木率道少將按照軍司令官的意圖，指示第１０師團師團長磯谷廉介，令第８旅團旅團長長瀨武平少將指揮以步兵約４個半大隊、山炮兵１個隊爲基幹的“長瀨支隊”，於２０日開始向運河防線的**隊發起進攻。經５日戰鬥，２５日日軍突破運河防線，２日攻佔嘉祥。日軍佔嘉祥後留一部兵力防守，主力集結於濟寧。第３集團軍在逐次抗擊後，撤至鉅野、獨山鎮、大義集、孟家屯、相里集之線防守。
在第３集團軍向濟寧、汶上進攻的同時，第２２集團軍也開始向鄒縣之敵實施進攻。
第２２集團軍於１３８年１月上旬由隴海路的商丘、碭山地區轉移至滕縣、臨城地區，以阻止因韓復榘擅自撤退而得以輕易、迅速進至鄒縣地區的日軍。
第４５軍的第１２５師在界河東西之線佔領陣地，第１２７師隨軍部控制於滕縣地區，第４１軍、第１２４師的第３７２旅擔任滕縣城防，第３７０旅配置於滕縣西北的深井掩護第１２５師陣地左側背，師部位於利國驛；第４１軍第１２２師爲總預備隊，隨總司令部位於臨城地區。當時鄒縣日軍爲第２軍第１０師團第３３旅團的第３聯隊，有１個大隊在兩下店佔領前哨陣地。
２月上旬，第２２集團軍接到向鄒縣之敵進攻的命令，孫震立即開始準備。
此時，第２２集團軍借爲四川部隊，總司令鄧錫侯。１３８年１月，川康綏靖主任劉湘逝世，鄧錫侯奉命回川繼任。第２２集團軍副總司令孫震代理總司令。下屬２個軍，均爲乙種軍。全集團軍共有１個步兵團，無特種兵部隊，總計約４萬餘人。裝備陳舊，主要武器爲四川造７毫米步槍及手榴彈，僅有少量四川造輕機槍及迫擊炮。本來兵員就不足，１３７年１０月至１２月在晉南戰鬥損失慘重，減員過半，２個軍的建制均不完整。調第五戰區前，１２月在山西離石、趙城一帶曾進行整編，每旅２個團合編爲１個戰鬥團。調第五戰區時，每軍在番號上仍爲２個師、４個旅、８個團，但實際只有４個團的兵力，全集團軍總兵力不超過２萬人。
由於該部減員太多且裝備低劣，無力組織大規模的進攻，因此令第１２５師的第７３７旅由界河進攻兩下店，令第１２７旅的第５７５團挺進至鄒縣、曲阜間，在敵人後方進行遊擊襲擾。
２月１４日，第７３７旅以第７４團、配屬地方抗日紅槍會數百人擔任主攻，以第７４５團佔領鐵路及郭山進行掩護。第７４團命第３營對兩下店實施夜襲。兩次襲擊均被擊退。１日下午，又以第１、第２營實施強攻，以第３營爲預備隊。經激烈戰鬥，於傍晚衝入村，佔領了兩座樓房。但在日軍猛烈的火力襲擊下傷亡過半，被迫於拂曉前突圍，退至郭山。１７日１４時，兩下店日軍開始反擊。在進行了反覆爭奪後，第７３７旅於１８日退至香城、普陽山一線，與日軍對峙。
奉命滲入敵人後方的第５７５團，在當地抗日武裝及人民羣衆的積極配合、支援下，於２月１１日進至曲阜以南的龍山一帶。１４日，在鄒縣至曲阜公路兩側的小雪村、鳧村附近，先後以伏擊戰消滅了兩批日軍，擊毀汽車４輛，擊斃日軍第１０師團少將軍官１名、士兵３０餘人。１５日，日軍由曲阜、鄒縣對進合擊。第５７５團東撤至距鄒縣約１公里的田黃鎮，爾後返回滕縣防地，歸還建制
龐炳勳的第３軍團於１３８年２月上旬從海州調至臨沂，旬集結、佈防完畢。日軍第５師團於１月４日攻佔蒙陰、沂水，１０日攻佔濰縣。同日日本海軍登陸佔領青島。此時諸城亦爲日軍佔領，第３軍團未能實施攻勢作戰即構築工事，向蒙陰、沂水、諸城方向警戒。
２月２１日，日軍第５師團依照軍參謀長１７日關於以１個支隊配合第１０師團的作戰、向沂州方面前進的指示，派第２１旅團的第２１聯隊由濰縣乘車南下進攻莒縣。當時莒縣地區僅有劉震東的第一遊擊隊及沈鴻烈的海軍陸戰隊，力量不足。第五戰區遂電令第４０軍派軍支援。龐炳勳乃令第１１５旅配屬２門山炮往援。該旅於２月２日到達莒縣附近，但莒縣已於２３日失守，劉震東犧牲，海軍陸戰隊已轉移至高裡附近。這時日軍以阪本順少將的步兵第２１旅團爲基幹組成的阪本支隊正西進準備進攻臨沂。
阪本支隊的編成爲：步兵第１１聯隊，步兵第２１聯隊，步兵第４２聯隊的１個大隊，野炮兵第５聯隊，山炮兵１個隊。
２７日，日軍阪本支隊向第１１５旅發起進攻。經兩日戰鬥，第１１５旅雖然頑強抵抗，但人力、火力均處於劣勢，且傷亡又大，不得已主動炸燬２門山炮後於２日下午後撤，３月２日退回相公莊整頓。日軍尾隨第１１５旅追擊前進，於３月５日攻佔湯頭。當其繼續向白塔主陣地進攻時，遭到第３師防守部隊的堅決抗擊。龐炳勳組織了反擊，由左、右兩翼向敵人側後迂迴。日軍被迫退回湯頭，暫時形成對峙。
日本“華派遣軍”及“華北方面軍”雖然在南北兩線的淮河及濟寧等地遭到了**隊的堅決阻擊及反擊，受到一定的挫折，但得意於上海的勝利及南京、山東的輕易佔領，不正確地判斷了戰爭的發展趨勢，認爲在國際上“由於德國承認滿洲國”，英國已“修訂了對外政策，在歐洲接近德、意而自求安定，在遠東緩和支持國政權的態度，採取保持本國權益第一主義”，“國際形勢大局正朝着對我有利的方向發展”；特別是錯誤地低估了華民族的抗戰決心，認爲：
“國的一般政局是逐漸喪失長期抗戰的自信，外則失去各國支援，內則出現各種內政問題（指地方與央、**與國民黨以及國民黨內部派系之間的矛盾)，現在正踏上崩潰之途”。
對**隊的看法則帶有極大的片面性與盲目性，認爲“在此次事變，**隊受到的損失，僅在華方面就有４０餘萬，連同華北方面合計約爲８０萬左右；而且蔣介石多年苦心訓練的、佔央軍大部約七個師，在華方面受到徹底打擊，大部分已喪失戰鬥能力”，
因而他們不同意日軍大本營的判斷和暫時“不擴大方針”。尤其是“華北方面軍司令官寺內壽一大將，對央意圖不滿”，堅持他“使華北、華聯接起來，進行徐州作戰”的主張，並在２月下旬向到北平傳達“戰場不擴大方針”的參謀本部第二課(即作戰課)課長一再強調他的意見。他積極支持第２軍繼續向南入侵的企圖，並於３月初將第２軍的作戰計劃及要求增兵的報告轉報大本營，說：“追剿眼前之敵，決不是深入南進作戰。爲警備後方，希望增加兵力。”
這時日本政府及大本營主張立即擴大侵略戰爭的勢力開始佔上風。參謀本部一貫主張慎重的河邊虎四郎大佐被免去負責作戰指導的作戰課課長職務，而以主張急進的陸軍省軍事課高級課員稻田正純佐繼任，並迅速批准了第２軍的作戰計劃和增兵要求。
第２軍司令官西尾壽造、派軍參謀鵜澤佐向第１０師團師團長傳達了司令官的希望：“應占領滕縣附近及確保大平邑”。
次後又下達正式命令，命“第１０師團擊滅大運河以北之敵，第５師團以一部佔領沂州後，進入嶧縣附近，配合第１０師團作戰”，“在達到上述目的後，大致在滕縣、沂州一線爲以後作戰作好準備”。
日軍第２軍的進攻行動，直接導致了滕縣及臨沂的戰鬥，從而揭開了大戰的序幕