陳士渠、唐亮原考慮攻城或打援兩個作戰方案，因判斷整編第47軍不敢單獨行動，可能待整編第18軍趕到後臺力增援洛陽，如此則援軍可能打不到或不好打，而自軍軍經過新式整軍運動後，戰士覺悟空前提高，戰鬥情緒極旺，部隊的裝備也得到了加強。
遂決心採取速戰速決手段，在整編第18軍趕到前攻克洛陽，殲滅第206師。於是，迅速部署：華東野戰軍3縱擔任對城東、城北面的包圍，並由東、北門攻城；陳賡兵團3縱擔任對城西、城南面的包圍，並由西、南門攻城；華東野戰軍8縱搶佔黑石關，負責阻止由鄭州西援的敵軍；陳賡9縱隊襲擊並控制新安、澠池等地，阻擊可能東援的裴昌會兵團，並於戰役發起後，以主力靠近洛陽，爲戰役總預備隊。
48年3月8日，陳賡兵團、陳唐兵團開始向洛陽外圍之敵發起攻擊。8縱、9縱迅速切斷了隴海鐵路，攻下洛陽周圍十數座城鎮，掃清了洛陽外圍百里以內之敵，完成了對洛陽的全面包圍，然後將主力部署在洛陽東西兩線，準備阻援。
3月9日黃昏，負責攻城的3縱、4縱分別強渡伊、洛兩河，從東北和西南兩面進攻洛陽外圍陣地。到11日下午，奪取了除西工發電廠、九龍臺和潞澤會館外的其餘全部外圍陣地。
11日晚七時整，洛陽攻堅戰開始。攻東門的是3縱第8師。洛陽東門是敵人整個城防的重點，工事堅固複雜。從瀍河東橋頭到甕城門150米距離內，設有五道鐵絲網，四道鹿寨，三層伏碉，過了瀍河接着是一道城壕，其對面又有背靠甕城的兩座大梅花堡，甕城門洞內塞有裝滿沙土的汽油桶，厚、高各5米。甕城的後面，纔是洛陽東門和高聳的城門樓。
爲了突破東門，3縱隊孫繼先司令員和丁秋生政委親臨東關陣地查看地形，瞭解敵情，並親自給8師指導員作戰鬥動員。根據國民黨軍隊設防情況，縱隊決定：採取以營爲單位的突擊梯隊，實施強攻，連續攻擊。突擊營由23團一營(張明任營長)擔任。
總攻開始後，僅僅30分鐘，城壕外的12道障礙均被炮火擊毀。厚厚的甕城門，也被爆開，後續部隊即從這裡源源不斷地涌進城裡，向城縱深實施進攻。攻打西門的是4縱10旅。在西門外，敵人築有一道又寬又厚的城牆，且牆外挖有一條10米寬的護城河，只有一座土木橋，敵人在橋頭兩側佈滿了鐵絲網、拒馬等障礙物。當兩次爆破均未成功時，解放軍於12日決定強攻西門。
12日13時，10旅將全部炮火集中，向西門守敵實施猛烈炮擊，遂將城牆上主要碉堡和橋頭兩側障礙物摧毀，接着步兵破開橋上的鐵絲網和拒馬，打開了一條通路，工兵立即發起衝擊。在火力掩護下，衝過橋樑，向城牆缺口撲去，很快殲滅甕城守敵。後繼部隊相繼突入城內，沿西大街向核心陣地發動進攻。
攻打南門的是4縱11旅32團和13旅37團。南門守敵頑固抵抗，再加南門靠近洛河，無法展開兵力，致使攻擊受挫。12日6時張明營從東門入城，直插南門，內外夾擊，最終突破南門，並殲滅大部守敵，剩餘殘敵狼狽地向西南角逃跑。
突擊一營跟蹤追擊，其他部隊向北發展。逃向西南角之敵很快被殲，西南角陣地即被佔領。到12日15時，攻城部隊已突破洛陽所有城門，各路大軍會師城內，對國軍進行分割包圍。城內四處潰退下來的潰兵，被壓縮到了西北隅的核心陣地裡，其餘城區全部被共軍控制。
當夜，共軍向核心陣地外圍發起攻擊。13日夜，再次發起攻擊，經過4個小時的激烈戰鬥，殲敵2000餘人。邱行湘帶着殘敵，逃進西北角陣地旁邊一所高大建築物內，這是敵人最後退守的據點——洛陽中學。
這裡是一個長寬不到100米的地方，敵人在此構築了堅固的工事，包括地面的和地下室，而且，這裡還集中着206師的主力，共計5000餘人。邱行湘幻想着憑藉這些作垂死掙扎，等待援軍的到來。這時，蔣介石分別由登封、偃師趕來的兩路援軍，均遭到阻援部隊的頑強阻擊。
而城內雙方又進行多次交手。由於敵人在壕溝底密佈着槍眼，左右側火力猛烈，使共軍兩次攻擊都未奏效。日16時半，共軍集中炮火向敵核心陣地實施轟擊。幾十門大炮、一百多門小口徑曲射炮在四十分鐘內朝百米見方的陣地上發射1萬多發炮彈，守軍被炸得死的死，傷的傷。
隨後，大軍向該陣地發起攻擊，很快肅清殘敵，邱行湘及其部下全部成了俘虜。在共軍攻城戰鬥強大聲勢震撼和威逼下，13日潞澤會館一個連投降，14日西工發電廠一個營和九龍臺的一個連均向共軍繳械。
至此，古都洛陽被完全佔領。同時，國民黨援兵胡璉和孫元良的部隊已越過登封、黑石關向洛陽逼近。鑑於已達到殲滅敵有生力量之目的，爲了擺脫合圍，共軍在處理完善後工作後，主動有秩序地撤離洛陽。
17日，全部轉移到洛陽以西以南地區，休整待機。3月18日晨，敵援兵整編11師、38師及124旅約6個旅的兵力進入空城洛陽。十天後38師奉命全部運到西安，11師也於同日東撤，以加強鄭州及平漢路的守備。
洛陽城僅留下124旅駐守。4月3日，這個旅的主力也開往偃師，只丟下371團及一個保安團守備。陳賡決定再殲洛陽守敵，遂於4月4日指揮主力圍攻洛陽。
國軍發覺後，於5日晨棄城東逃，共軍迅速追擊，將其包圍在東張古洞地區，經2小時戰鬥，全部被殲滅，共斃傷敵4600餘名。古都洛陽宣告解放。
此役，殲國民黨青年軍第206師和國防部直屬炮兵、汽車分隊等共2萬餘人，從此切斷了國民黨軍潼關至鄭州的鐵路聯繫，使豫西、太嶽解放區連成了一片。