25王墉旅長在李闖王掛甲的那個地方中了冷槍，光榮犧牲了。這一天是1948年3月23日。
徐向前心情悲憤地下令：“破城雪恨！”
王墉旅長犧牲的當天下午5時半，攻城全線展開，憤怒的炮火炸開了東關一個約10米寬的口子，24旅從突破口衝進去，攻佔了一個碉堡羣。閻軍組織猛烈的火力反擊。
24旅和閻軍打成拉鋸戰。
在24旅突破東關後，23旅也展開了衝擊，但沒佔到什麼便宜。開始，23旅很快突破閻軍前沿，攻佔了碉堡陣地。後來，閻軍組織反擊，陣地又被閻軍奪了回去。
13縱和太嶽軍區部隊進攻東關也均未得手。
3月24日，攻城部隊再次攻打了一天，傷亡不少，但攻城未能奏效。
痛失良將王墉，徐向前深爲惋惜，他沉思良久，還是下令：“暫停攻擊！”
26經過一個星期的討論後，3月31日，徐向前召集團以上幹部，部署下一步軍事行動。
徐向前再一次簡單地闡明攻克臨汾的意義，總結半個月來的戰鬥經驗，分析突破未果的教訓，並作了自我批評。接着，他說：“關於攻城的手段，還是用23旅的‘土行孫戰術’，挖地道，鑽地下，最後拱翻臨汾城。《封神演義》中的土行孫是個神話人物，擅長鑽地行走，來無影，去無蹤，在姜太公手下屢建奇功。我們打曲沃、攻運城，8縱23旅創造了‘土行孫戰術’。這個戰術，對我們來說，很管用。因爲我們炮火不強，而臨汾城堅難摧，只好從地下想辦法，依靠地道爆破解決戰鬥。”最後，徐向前明確宣佈，哪個旅最先登城，就授哪個旅爲“臨汾旅”榮譽稱號。
自然，徐向前看中23縱。因爲23縱是“土行孫戰術”的首創部隊。徐向前對王新亭說：“臨汾哪有攻不下的道理，就是把鬍子打白了，也要打下臨汾；打不下臨汾，你我都到五臺山當和尚！”
王新亭立即號召全縱各旅，爭當“臨汾旅”。各旅紛紛表決心。23旅旅長黃定基要求把最艱苦的任務交給他們。
決心堅定，決策正確。徐向前重新調整部署：8縱23旅從東北方向，向東關進攻；13縱37旅從東南方向，向東關進攻。
23旅和37旅是兩支勁旅。23旅以善於攻堅作戰著稱，旅長黃定基曾獲特等殺敵英雄獎章。37旅擅長機動作戰，旅長王誠漢，在孟良固戰役中指揮靈活，曾受到陳毅司令員表彰。現在，徐向前用這兩個鐵拳，摔向東關，意在突破東關後，23旅由北向南攻擊，37旅由東向西突破，這樣，臨汾就完全解決了。
就在徐向前部署兵力之際，守城的閻軍總指揮樑培璜給下屬宣佈“八殺”命令：奉命進攻遲延不進者，殺；奉令赴援遲延不進者，殺；未奉令放棄守地者，殺；鄰陣被攻有力不援者，殺；鄰陣被陷不堅持本陣地者，殺；濫行射擊虛報彈藥、陣前無敵屍者，殺；謊報軍情企圖卸責者，殺；主官傷亡次級不挺身而代行職務者，殺。
殺！殺！殺！第二階段的一場惡戰，就這樣打響了。