曹操的死，對曹家政權來說，相當於一場十級地震，因爲他人是在洛陽死的，他一死，他帶着的幾十萬大軍頓時陷入羣龍無首的境地，而且一部分青州（山東）籍的官兵已經擅自離開洛陽，自己回青州老家去了，各地對曹操暗中不服的勢力，也開始蠢蠢欲動。更重要的是，從曹丕到手下的各級文官武將，都不能馬上習慣沒有曹操的日子，一起陷入了混亂狀態。
當留守鄴城的曹丕和各級聽到曹操去世的消息，第一反應就是聚在一起大哭個不停。這個時候，首先站出來安撫局面的，是司馬懿的弟弟司馬孚。根據《晉書.司馬孚傳》記載，曹操的喪事是司馬孚負責主辦的，但是在《晉書.司馬懿傳》裡，又說曹操的喪事是司馬懿全權負責的。但是無論如何，曹操的葬禮都是司馬家族的人辦理的，而且是井井有條、絲毫不亂，最終，曹操的棺材平平安安、風風光光的被送回了鄴城，這一次葬禮，在讓世人矚目的同時，也更使得大家對司馬兄弟刮目相看。曹丕繼承魏王王位以後，伺候了他很長時間的司馬懿，也終於正式邁入了他仕途的康莊大道，被封三級侯爵河津亭侯，當了曹丕丞相府的長史（首席副官）。
曹丕雖然已經繼承魏王，但他統治的地域內，仍然是人心惶惶，甚至有謠言說剛剛和解的孫權趁着曹操剛死，要翻臉來進攻。在人心已亂的情況下，曹丕周圍的很多人都認爲襄陽、樊城剛剛遭遇大戰，要人沒人，要糧沒糧，肯定堅守不住，當時鎮守襄陽的，仍然是曹仁，大家就建議讓曹仁放棄襄陽，退到中原地區的宛城（河南南陽）。司馬懿表示了不同意見，他說：“孫權最近擊敗了關羽，正要依靠我們對付劉備，絕對不會主動來進攻。襄陽是交通要道，是抵抗敵人的要害之地，絕對不能放棄。”當時，當時到會討論的大臣們都驚慌失措，包括曹丕心裡也沒底，最終還是命令曹仁燒燬了襄陽、樊城這兩座極其重要的戰略要地，可是孫權並沒有打過來，曹丕一聽這個消息，非常後悔，不禁更信服司馬懿的判斷力了。
10月29日，曹丕強迫漢獻帝交出皇帝寶座，登基稱帝，建立了曹魏帝國。司馬懿爲曹丕當皇帝賣了很大的力氣，自然又是加官進爵，升任尚書（國務院部長），不久又加封爲二級侯爵安國鄉侯，先後升任督軍（軍隊監察官）、御史中丞（大監察長）。221年，司馬懿被免去督軍官職，升任侍中（皇帝高級顧問）、尚書右僕射（國務院副總理）。
在不斷升官的同時，司馬懿也終於如願以償，成爲獨當一面的領兵大將。在224年2月，曹丕離開首都洛陽，準備對孫權展開攻勢，司馬懿則被升任撫軍大將軍，持有皇帝三級符節——假節，領兵五千人鎮守陪都許昌，同時又享受到了實際上的國務院總理待遇——督後臺文書。司馬懿雖然也喜歡升官兒，但是自己都覺得這麼快升遷太招人眼熱，就不肯就職，曹丕語重心長的教導他：“我天天處理這些雜事，沒白天沒黑夜，連休息日都沒有，我讓你當總理不是給你升官，是讓你多替我幹活哪！”
曹丕大舉進攻東吳，臨走的時候，跟司馬懿說：“你看家看的好，我才能打勝仗。好好給我看家吧，這是最重要的責任！”曹丕走了以後，司馬懿既負責內政、又負責供應前方軍事物資，曹丕回師首都洛陽，又給司馬懿寫下詔書說：“以後我東征，你就在西面看家；我西征，你就在東面看家。”於是司馬懿繼續留守僅次於首都洛陽的陪都許昌，我們可以看出來，現在的司馬懿已經不僅僅是獨當一面了，而是成爲了曹丕的大內總管。
然而就在公元226年5月，僅僅40歲的曹丕就得了暴病，很快就病危了。臨死的時侯，他把撫軍大將軍司馬懿和另外三個一品大將軍——中軍大將軍曹真、鎮軍大將軍陳羣、徵東大將軍曹休同時任命爲爲輔政大臣，負責輔佐當時只有22歲的太子曹睿。臨死前，曹丕還特別對曹睿說：“以後如果有人說這幾個人的壞話，你絕對不要相信。”
曹睿即位之後，司馬懿被改封爲舞陽侯。8月，南方的孫權知道曹丕去世，分兩路大舉進攻曹魏帝國，司馬懿和另一位輔政大臣曹真配合，分別擊退孫權的進攻。12月，司馬懿因爲戰功顯赫，由撫軍大將軍再升爲驃騎大將軍。公元227年6月，司馬懿被任命爲都督荊州、豫州軍事（湖北、中原軍區總司令），駐紮在宛城(河南南陽)，從此正式開始了他作爲大軍區司令南征北戰的漫漫生涯。
就在司馬懿剛剛上任的時候，蜀漢帝國的實際領導人諸葛亮已經在漢中集結大軍，準備對曹魏帝國展開全面攻擊，在諸葛亮發動進攻之前，他聯絡了原先背叛了蜀漢帝國的新城太守（湖北房縣）孟達，重新效忠蜀漢，孟達雖然答應，但遲遲猶豫不決，不敢立刻起兵。司馬懿知道孟達將要背叛，一面寫信好言安撫，一面立刻帶人從宛城急行軍打了過去。當時，宛城距離新城足足有六百公里，而且途中大半都是山路，非常不好走，孟達非常堅信司馬懿不可能親自來，他的部隊也不可能那麼快就到，可是，八天之後，司馬懿領着大軍已經到達新城，十六天之後，就把新城攻了下來。
孟達被殺以後，諸葛亮聯合孟達起兵的計劃落空，公元228年年初，他只好獨自從漢中殺了出來。一開始，由於西北好幾年沒有經過大戰，曹魏帝國都沒有做好應戰的準備，諸葛亮大軍一到，各地紛紛投降，可是後來由於馬謖在祁山（甘肅西和西北）一戰中不守要道，卻守在山上，結果被張郃團團圍住，幾乎全軍覆沒，諸葛亮無險可守，只好全體撤退。雖然這場大戰的頭功要算到張郃、曹真的頭上，但司馬懿迅速的砍掉諸葛亮的一條臂膀，也強有力的支援了友軍。
這一次戰役，被後人們稱爲一出岐山，在《三國演義》裡，可以說是諸葛亮策劃的最經典戰役之一。後人總把一出岐山的失敗歸結於馬謖的失誤，但如果我們冷靜的、認真的讀一讀史書，就可以發現諸葛亮的北伐其實註定徒勞無功。在當時的中國，曹魏帝國的人口、軍力，比蜀漢和東吳加起來都強，而蜀漢僅僅佔據着現今的大西南不到一半兒的地方，人口更是連曹魏帝國的五分之一都沒有，以這樣懸殊的實力對比還想戰勝，實在是比登天還難。
在幹掉孟達之後，司馬懿還順便逮捕了魏興太守（陝西）申儀。孟達叛亂的消息，其實是申儀告的密，但是申儀本人由於長時間的守在魏興，自己也是獨斷專行，動不動就假傳聖旨、私刻印章，隨便以自己的意願分封屬下。孟達的被殺，讓申儀對自己的前途也感到害怕，但是司馬懿派人對他好言安撫，請他來見面，等申儀一來，司馬懿立刻把他逮捕，裝進囚車送到了洛陽。爲了讓這個地區真正安定下來，司馬懿又把孟達舊部七千多戶人家流放到了幽州（河北北部），這一系列快速、有效的攻略，對蜀漢帝國也造成了巨大的影響，不久，蜀漢帝國的將領姚靜、鄭他率領七千多人也跑到司馬懿這裡來投降了。
看到原本動盪的漢江上游一帶逐漸安定，司馬懿纔回到宛城。當時，這個地區剛剛真正納入曹魏帝國的管轄，新成立的郡政府、縣政府，連最基本的戶口名冊都沒有，皇帝曹睿想把這個地方好好捋一遍，就把司馬懿召到洛陽，想問問他，該制定些什麼辦法才能讓漢水上游安定下來。沒想到，司馬懿卻說：“蜀漢帝國用嚴刑峻法統治百姓，所以百姓們纔會跑到我們這邊來，我們應該儘量用寬大的政策去安撫他們，老百姓自然就會安家樂業。”這意思就是說，對待邊境的百姓，不要那麼嚴厲苛刻，儘量安撫，只要不出亂子就行了。
曹睿聽到司馬懿的辦法非常滿意，就又問他，如果進攻蜀漢和東吳的話，應該先打誰。出乎別人的意料，司馬懿認爲應該先打實力較強的東吳，他出的辦法就是，先派陸軍猛攻長江下游，然後趁着東吳救援的時候，再派水軍從夏口打過去，讓敵人顧得了頭顧不了尾。實際上，在半個多世紀以後，晉王朝在滅吳的戰爭中，基本採用的就是這種戰法，司馬懿的計策，從某種程度上來說，應該是超前了半個多世紀。
司馬懿見過曹睿以後，就又回到了宛城。在公元228年12月，在一出岐山不到一年的時間裡，諸葛亮第二次對曹魏帝國發動了進攻。這一次，他打的是陳倉（陝西寶雞），但是由於陳倉守將郝昭防守嚴密，諸葛亮從月頭兒打到月尾，一點兒便宜也沒佔着，等到張郃的援軍趕到時，諸葛亮已經回到漢中了。第二年的春天，爲了防止漢中的西面發生問題，諸葛亮攻克了曹魏帝國的武都郡（甘肅威縣）和陰平郡（甘肅文縣），然後立刻就返回漢中。
這三次和諸葛亮的戰役，司馬懿都沒有參與過，但是，不參與並不代表着不思考。從諸葛亮的三次撤退，司馬懿發現了他的死穴，那就是：糧食不足、運糧困難。除了第一次入侵諸葛亮準備的還比較充分，其餘的兩次進攻，全是虎頭蛇尾，連一個月都堅持不了。就在司馬懿在假想着如何對抗諸葛亮的時候，公元230年的7月，鎮守大西北的曹真，向漢中發動大規模的報復性進攻，結果因爲連降大雨，這場轟轟烈烈的戰役狼狽的泡湯了。
公元231年2月，諸葛亮第四次進攻曹魏帝國，先包圍了戰略要地岐山，就在這個時候，鎮守大西北的大司馬曹真突患重病，爲了抵抗諸葛亮，皇帝曹睿命令已經是大將軍的司馬懿立刻接替曹真進駐長安，總領大西北的各路軍隊。3月，曹真去世，司馬懿成爲了大西北新一任的最高軍政長官。
也許連司馬懿自己也沒有意識到，對曹魏帝國來說，他的上任，具有劃時代的意義。長安是當時僅次於首都洛陽的重要城市，大西北，也是曹魏帝國最遼闊、最複雜的軍區，因爲這裡太重要了，所以從曹操時代開始，一直都牢牢的掌握在曹家和夏侯家這兩個皇族的手裡。司馬懿是第一個總督長安的外姓人，從此以後，他不僅確立了頂級戰神的位置，還擁有了一個強有力的班底——整個大西北驍勇善戰的將領和士兵，而這都要感謝諸葛亮，因爲如果沒有他強有力的進攻，曹睿就不會在慌亂之中，把這麼重要的位置交給司馬懿。接下來，伴隨着和諸葛亮的一次次戰鬥，司馬懿的威望也會越來越高，大西北魏軍的戰鬥力會越來越強，最重要的是，司馬懿和大西北將士們的感情，會越來越深。
司馬懿一上任，和諸葛亮打了一仗，但是這一仗規模並不大，因爲在沒有和諸葛亮交手的時候，司馬懿就已經認準了諸葛亮的致命缺點——缺糧，所以在打了一仗以後，他立刻採取嚴防死守的措施，堅決不和諸葛亮開戰。諸葛亮存糧本來不多，補給又非常困難，急於打仗卻沒仗可打，耗到6月的時候，終於吃光糧食，只好撤退了。
司馬懿和諸葛亮的這一輪較量，說實話勝少敗多，根本沒有什麼兩大軍神對決之類的精彩場面出現，總之就是司馬懿能打死活不肯打，諸葛亮死活想打卻打不了，生生被司馬懿耗得退兵了。很多將領都非常鄙視司馬懿的全防禦方針，甚至有的人都認爲他是害怕諸葛亮。但是，不管怎麼說，實際情況就是，諸葛亮失敗了，曹魏帝國的領土一點兒也沒有丟失。
公元234年，在休養生息了三年之後，諸葛亮第五次進攻曹魏帝國，這一次，他集結了十萬人的大軍，從郿縣（陝西眉縣）進入渭河南岸，在那裡紮下營寨，命令士兵種植當地的荒田，做出一副長期進攻的架勢。司馬懿看到諸葛亮這種舉動，卻一點兒都不着急，就背靠着渭河紮營，還是死活不肯出戰，諸葛亮急於求戰，不斷向司馬懿挑戰，甚至給他送去女人穿的首飾和衣服來刺激他，但就是這樣，司馬懿也一聲不吭，爲了平息將士們的求戰情緒，他還特別派人到洛陽去求來曹睿不準出戰的聖旨。有了曹睿的命令，司馬懿更加順理成章的嚴防死守了。
諸葛亮辛辛苦苦準備了三年時間，就是爲了和司馬懿來一次決戰，分個勝負，然而司馬懿毫不配合，最終在8月，在僵持了一百多天以後，心力交瘁的諸葛亮在軍營裡去世了。司馬懿成功的熬死了諸葛亮，贏得了對蜀國反侵略戰爭的偉大勝利。從那以後，蜀國的進攻，就再也不能對魏國構成嚴重威脅了。
藉着諸葛亮的死，司馬懿成爲了曹魏帝國當之無愧的一號兒軍神，爲了獎勵司馬懿的赫赫戰功，在公元235年1月8日，皇帝曹睿任命司馬懿做了太尉，也就是一品大臣中最榮耀的三公之一。從此，司馬懿成爲曹魏帝國的頂級大臣，司馬家族也靠着司馬懿，進入了當時中國一流家族的行列。