南唐是各個割據勢力中相對最強大的一個，周世宗攻取淮南已經大大傷了他的元氣。中主李璟崩後其子李煜繼位，史稱南唐後主，文學史上又稱李後主。李後主沒想過富國強兵抵禦宋朝，而是百般討好並大肆賄賂宋太祖和趙普等人，只求保證其割據江南的地位，這顯然是很不現實的。開寶七年（公元974年），宋廷以宣徽南院使、義成軍節度使曹彬爲西南路行營馬步軍戰棹都部署，山南東道節度使潘美爲都監，潁州團練使曹翰爲先鋒都指揮使，率10萬大軍進討南唐。發兵前，宋太祖專門召集幾位主將告誡：“城陷之日，慎無殺戮。設若困鬥，則李煜一門，不可加害。”曹彬與李漢瓊、田欽祚等將率水軍從江陵（今湖北荊沙）順江而下，潘美與曹翰、劉遇等率陸軍繼行。南唐的忠臣良將劉仁瞻、張彥卿都已故去，剩下一個林仁肇爲宋太祖所忌憚。於是宋太祖略施小計，在東京營造了一座大庭院，在內室掛了一幅林仁肇畫像，並悄悄告訴南唐使者說林將軍已經歸降大宋，這就是留給他的宅子。
這種拙劣的小伎倆可能連淨壇使者都很難騙得到，但李後主認爲有畫像作證，便殺了林仁肇，使宋軍唯一的忌憚自動消失。這下宋軍順江東下，所向披靡，摧毀唐軍所有水砦和戰艦，只用一個月就兵臨採石磯。採石磯位於今安徽馬鞍山，又名牛渚磯，與岳陽城陵磯、南京燕子磯並稱爲“長江三大磯”，均是突兀江中，絕壁臨空，扼據大江要衝、水流湍急的險要之處，自古爲兵家必爭之地。採石磯是南唐國都金陵（今江蘇南京）的水上屏障，凡欲從水路攻取金陵者，必先破此砦，當然這也是南唐重兵把守的戰略要塞。由於採石磯確實易守難攻，唐軍又精於水戰，宋軍一時也無法攻克，唐軍漸漸有所懈怠，此時宋軍的秘密武器出現了。樊知古，原名樊若冰，本是南唐人士，但在南唐鬱郁不得志，每天在採石磯釣魚，實際上是在測繪當地的水文資料。雖然《孫子兵法》中有專門的《用間篇》，中國的軍事家歷來也很重視諜報工作，但在明太宗（永樂大帝朱棣）設立正規的特務情報部門之前，反間工作仍然是很原始的，所以他這種並不高明的間諜行動居然得逞。
後來他帶着這些重要情報資料投奔宋朝，並建議據此修建浮橋攻取採石磯。宋太祖採納他的建議，授予舒州軍事推官職務，帶領工程部隊在貴池（今安徽桐城）李陽河試造浮橋。宋軍受阻於採石磯時，樊知古預製浮橋部件完成，來到採石磯開始正式工程作業。宋代以前長江中下游是修不起橋的，唐軍在南岸看到宋軍居然在長江天塹上搭造浮橋，哈哈大笑，認爲曹彬是在兒戲，沒有提高防備。但樊知古其實是根據採石磯的實際水文資料預製好的浮橋，此時只需移至採石磯以CKD方式組裝既可，三天就搭造好。唐軍發現爲時已晚，宋軍迅速通過浮橋，攻佔採石磯。隨後宋軍從水陸兩路合圍迅速包圍金陵，這時李後主連忙派使臣向宋太祖求饒，答應只要退兵，可以給很多錢。宋太祖答了一句名言：“不須多言,江南有何罪,但天下一家,臥榻之側豈可許他人鼾睡？”李後主終於斷絕幻想，整軍抵抗，當夜派數千軍吶喊着殺出城外，卻大敗而回。宋軍緊緊圍住金陵，晝夜攻打，主將曹彬始終牢記宋太祖不可濫殺的戒律，每次攻城最急時都故意放緩，企望李後主能夠主動投降，減少傷亡。最後城破之勢已成，李後主還沒投降，曹彬卻突然稱疾。
衆將士忙問何疾，曹彬道：“其實我身體沒病，而是心病。我想起我軍攻打四川時殺戮甚衆，心裡難受得很，恐怕金陵城破，你們又要殺戮，於心何忍啊！我這病用藥是治不好的，只要你們誠心立誓，城破之時不妄殺一人，我自然就好了。”衆將連忙焚香立誓決不妄殺，第二天曹彬的“病”就好了，第三天就破城。李後主帶着文武百官來到曹彬軍門前請罪投降，曹彬非常有禮貌地接待了他，南唐平定。李後主此人做皇帝是渣級，做詞人卻是骨灰級，是宋詞史上第一位大師。王國維在《人間詞話》中認爲：“花間派”雖然詞句華麗，但卻空洞無物，算是創造了宋詞的骨架，而沒有魂魄。而到李煜，詞纔開始進入意境，華麗的骨肉被賦予了深邃的靈魂，開啓了光照千秋的宋詞文學。所以，雖然李後主爲人浮華，不勤政事，完全不是一個合格的皇帝，但其在文學史上的崇高地位同樣不容抹殺。至此，大宋從佔據中原出發，相繼平定湖南各割據政權、四川的後蜀、廣東的南漢、江南的南唐，西北領主折氏、李氏內附，福建的吳越國王錢俶、清源軍節度使陳洪進等人勢力微弱，一直歸附於宋，後來太宗朝正式納土，現在就只剩下最後一個割據勢力北漢了。