此時的情形是，濟南及外圍的日軍已達三萬餘人。日軍在鄰接濟南城的濟南商埠以緯四路爲中心線，劃爲東西兩個警備區，並構築了一些工事，收容日本僑民。
5月2日深夜，薛林在牀上輾轉反側，無法入睡：“濟南慘案就在這幾天發生，會是哪天呢？”薛林這段歷史記不清了。但是薛林腦中出現了一個畫面：幾千名中國人慘死在日軍屠刀之下，日軍重炮轟擊這座歷史名城，濟南城一片火海……
薛林在書上見過濟南事件的描寫，頓感痛心疾首，無奈有心無力。
“偌大的濟南城，靠我這些軍隊分散駐守，根本守不過來，雖然陸續有軍隊開進濟南，可哪些又是我能指揮的了的？蔣介石屆時一定對日軟弱，現在他就極力約束部隊不許回擊日軍挑釁，一旦日軍有大動作，被動的還是我們，受苦的還是老百姓……”
薛林想着想着進入了夢鄉，他已經盡最大努力部署了他的部隊，並與王天培聯合，儘量壓制日軍。
第二天，薛林很早的起牀，照例親自視察街道，薛林的司令部就臨近濟南商埠，離日本軍駐地較近，所以薛林不敢大意。
與此同時，國軍戰地政務委員會委員兼外交處主任、山東交涉員蔡公時與十八名隨員清晨到達濟南，於經四緯六路成立外交部特派員交涉公署，這個辦公地點離日本軍隊的駐地很近了。
太陽升起，濟南城內各處商店相繼開門，生意興隆，市面熙熙攘攘，一片太平景象。
薛林和錢壯幾人剛出軍營，突然遠處一聲槍響，街上亂了起來。
薛林等幾人立刻緊張起來，但還不至於慌亂，因爲這幾天經常能聽到槍聲，薛林攔住一位從前面跑過來的市民問道：“這位大爺，前面發生了什麼事？”
“軍爺，日本人又開槍殺人了，這回殺的是個當兵的。”說完就跑了。
薛林的怒火騰地竄上心頭，眼睛瞪圓了，說道：“嗎的，這幫王八蛋，走，咱們去看看。”說完便掏出了手槍。
“薛林，校長可說過，不許還擊，你可別猛撞啊。”大壯說道。
“都欺負到家門口了，你讓我怎麼忍？這幾天日本開槍傷人的事還少嗎？”薛林說。
這時一團長說道：“旅長，這次日本人好像是有預謀的開槍，您還是回營吧，萬一日本人有陰謀，您必須坐鎮指揮，您回去，我們幾個去前面看看。”
薛林一聽，頓時冷靜下來，隨即命令一團長去前面看看情況，自己和錢壯回營準備。
薛林回到營中馬上戒嚴部隊，薛林的軍隊分散駐紮在幾處，薛林的司令部有人數五千人。
外面的槍聲越來越激烈，最後密密麻麻響成一片，還夾雜着炮聲。薛林焦急的等待消息。
很快一團長回來了，有了答案。
原來第四十軍賀耀組部的一名士兵因患病被送往基督教醫院治療，遭到日軍士兵阻止通行，由於語言不通，發生爭執。日軍士兵突然開槍，打死中國士兵一人，餘人避入醫院。大約同時，日軍在魏家莊向正在張貼標語的中國士兵開槍，造成數人死傷
不僅如此，日本軍隊又向國民北伐軍第四十軍第三師第七團的兩個營發起攻擊，這兩個營的營長因爲有事不在營中，損失慘重。
薛林心中的無名之火已經燃燒。
正在這時，一位士兵跑了過來，原來是蔣介石的命令：命令各部隊原地駐防，不許開槍還擊，違令者，軍法從事。
聽罷，薛林抓起茶杯狠狠的把桌子上的茶杯摔在地上，大聲喊道：“去他孃的狗屁命令，槍都頂在腦門了，還不讓反抗，讓我等死嗎？”
此時王天培的副官也親自前來，請求薛林的支援。
衆人義憤填膺，紛紛請戰，就算是軍法從事也認了。