蜀地未平，後秦收納桓氏餘孽並出兵相助，這大大增加了劉裕北伐的決心。其實劉裕早就有北伐之志。當年匈奴胡騎攻克洛陽長安，滅了西晉社稷，衆文武官員倉促帶司馬德宗南渡長江建立東晉。匈奴政衰後爲氐族人苻氏建立的秦朝與鮮卑人慕容氏所建立的燕國所滅。秦朝到苻堅繼位時，由於苻堅有文武大略，又加以漢人王猛爲相，朝政大治，兵強民豐，先後滅掉蜀、涼、代等幾處政權後又滅掉燕國，一統北方，中華疆域三有其二。然其混一九州之心太急，不思休民養兵，違背羣臣意見，大發國兵南征東晉，終於淝水一戰大敗，政權也四分五裂，主權爲羌族姚氏所建之後秦取代，先前所滅之代與燕之後人也趁機建國。代爲鮮卑人拓跋氏所建，後日益強大，滅了慕容氏的後燕，建立魏國。慕容氏後人又建立北燕與南燕兩個政權。北燕處於遼東北，南燕則處於山東地區。北方最強政權爲後秦，而魏國正漸漸望其項背。
劉裕心中一直都想收回關陝地區和河洛地區，重振晉朝國威。而後秦正掌控着這些重要地區。桓玄之亂結束後，後秦又收納桓氏餘孽桓謙等人，擺明了是要與晉爲敵。若攻克後秦，恢復失地後，更可以之爲資，向北而圖天下。劉裕於是與劉穆之、謝晦、劉敬宣、臧熹等一衆文武將士聚會商議。
劉穆之說道“目前蜀亂尚未平息，不宜再做大舉。”謝晦言道“後秦依然是北方最強政權，北魏也日益強大，若秦魏聯合，實難有功。”多數人持反對意見，劉裕急於建立功業，心下不樂。不久後，謝晦言道“不過，我倒是有個建議。”謝晦是桓玄之亂後投奔劉裕的，劉裕對其才華很是賞識，“愛卿但言無妨！”
謝晦緩緩說道“伐秦需要從長計議。不過目下我們可以先伐燕。桓玄亂時，燕主慕容備德想趁機攻我淮南，賴其突然犯病纔沒出動。慕容超繼位後又信用奸佞、誅戮賢良、賦斂繁多、事役殷重，百姓苦不堪言。近來又昏庸狂悖、犯我邊疆。數月前，慕容超令慕容興宗、公孫歸等帥騎兵數千攻克我宿豫城，大掠而去，擄走男女二千餘人。不久前慕容超又遣公孫歸之弟公孫五樓、段暉再次入寇，俘虜百姓千餘人而去。我朝爲此趕忙加兵鎮守彭城以南諸城。爲鞏固我朝邊疆，我們順民心伐無道之燕，燕地狹促，克之不難。”
劉裕大喜，與會諸人可否者參半。劉穆之仍以蜀地爲難，劉裕言道“前番取蜀，兵力既少加以糧運不濟，是以受挫。譙縱新得志，不可急取。我已有破之之策，數年後待其志驕氣滿之時，便可一舉攻克。譙縱匹夫，只有自守之志，我量其必不敢出蜀來犯！”
臧熹與劉敬宣均贊同伐燕。之前劉敬宣投奔南燕時，暗中與親信高雅之結識青州大姓及鮮卑豪帥，密謀殺南燕主慕容備德，推司馬休之爲主。雅之慾邀慕容備德的親信劉軌同謀，敬宣說：“劉公年衰，有安齊終老之志，不可告之。“雅之不聽，告訴劉軌，劉軌假意應允，派手下人擒住雅之，告訴了慕容備德。敬宣得知密謀泄漏後，與司馬休之等倉促南逃，路上聽聞劉裕起義兵，便來投奔。敬宣對南燕地形與朝中形勢頗爲熟悉，此時他說道“慕容超昏庸，不用忠臣，聽信奸佞，確實可伐。只是燕南有處大峴山，是天險屏障。兩山夾峙入雲，中只有一道崎嶇陡峭，並且很窄，僅容一車通過。若過此險，如履平地。”劉裕看過地圖，說道“攻下南燕，可獲得黃河東段，日後伐秦水師可入黃河，水陸俱攻，一舉平定中原，復我失地。”劉裕便下定決心準備伐燕。
朝堂之上，劉裕向皇帝上表請伐南燕，朝臣異議者爲數不少。皇帝考慮劉裕功高又有武略，不便拂揹他的意思，答應了他的請求。劉裕開始做伐燕的準備。他考慮到吳地將士擅長步戰，短兵相接，而燕軍則利於鐵騎衝鋒。若大規模的騎兵衝擊而來，晉之步軍難以抵抗。於是他開始思索破騎之法。當他想到三國諸葛亮與晉朝的馬隆都曾用戰車成功剋制過騎兵後，便派兵士打造戰車。
409年四月，劉裕與衆將士做了充足的部署，開始北伐。七萬步兵、六千騎兵、四千輛戰車齊發建康。大軍由淮水入泗水，在下邳登陸後，留下一切船艦和輜重，輕行前進，準備因糧於敵。大軍順利攻下琅琊、莒城等城池，每下一城都留兵守衛，保護住自己的後方防線。大軍繼續向大峴山前進。
在劉裕大軍剛入燕境時，慕容超急召羣臣商議。公孫五樓道“吳兵輕狂狡悍，利在速戰。我們只需固守大峴使其不得入，遷延日久，吳兵銳氣已失，然後再派精騎二千，沿海而南，處處阻斷其糧道。另派段暉率兗州之衆數萬，沿山東下，腹背夾擊。如此一來定能讓晉兵有來無回，此乃上策。使各處守衛依險自保，割麥收糧、留下僅夠用的糧食，其餘全部燒燬，使敵無法因糧於我，敵來求戰我們不應，數旬後敵當自退，此乃中策。若放敵入峴，出城迎戰，無異於坐以待斃，此乃下策，萬不可行。”
慕容超滿臉不屑，言道“我們擁有富庶民衆、鐵騎數萬。況且當前正值麥季，綠苗遍野。怎能輕易放棄大好的莊稼，收民自保呢？南蠻步兵難敵我方精騎，我們不妨使其入峴，我等縱鐵騎蹂躪之，豈不痛快。”五樓言道“必如此，怕慕容氏的宗廟將不再血食!”慕容超怒道“放肆！”太尉慕容鎮也言道“棄險不守，僥倖於一戰，萬一失敗，悔無及矣。”慕容超仍然不從。慕容鎮嘆道“你坐待攻圍，真似後漢之劉璋。可嘆我大燕千里好山河將被你葬送，我會死於國難！”慕容超大怒，派人將慕容鎮押入牢中。