時呂蒙與成當、宋定、徐顧三人的軍營離得很近。後三人去世，其子弟年幼，不能任事，孫權想把他們的部隊都合併給呂蒙。呂蒙堅決推辭。他給孫權上書，指出徐顧等三人勤於職事，忠於國家，子弟雖然年紀小，但不能廢黜。連續上書三次，孫權才聽從他的意見。呂蒙又爲三將的子弟請老師，精心輔導。從這件事，可以見出呂蒙對他人是何等盡心盡力。
陸遜更是了的，孫策死後，孫權繼領其衆，爲將軍，“招延俊秀，聘求名士”。陸遜年僅二十一歲，應召入孫權幕府，成爲孫權統治集團的幕僚。歷仕東、西曹爲令史；不久出任海昌（今湘江海寧西南）屯田都尉，兼海昌縣令。海昌境內連年遭旱災，他開倉賑濟貧民，組織生產自救，緩和了災情，因此深得民心。
東漢末年，許多農民因逃避賦役而投靠豪強大族，淪落爲依附民；豪強大族爲了反抗政府徵發、保衛和擴大既得利益，把依附民組成武裝隊伍。這類豪強武裝依山阻險，被官府稱作“山賊”、“山寇”。他們經常擾亂地方，有的豪強集團還與曹操遙相呼應，對抗孫吳政權，成了孫吳政權的隱患。
當時吳郡、會稽、丹陽（今安徽當塗東北）一帶也有很多逃戶。針對這種情況，陸遜採用查戶整頓的方法，將其中的精壯招募爲部曲，其他則用於屯田。時會稽有山賊大帥潘臨，造反多年，官府無法平定。陸遜便招兵進討，終將其平定。時陸遜手下已有2000餘人。
建安二十一年（216年），鄱陽的賊帥尤突作亂，影響甚大，陸遜率軍配合奮武將軍賀齊將其討平，斬首數千。陸遜因功被拜定威將軍，屯兵利浦。
通過這些戰事，陸遜初步顯示了出衆的軍事才能，很受孫權器重。孫權便將孫策的女兒嫁與陸遜，並經常找他商討治國大策。
時東吳境內的許多山區越族居民據險自守，不服從孫權政權的統治，並不斷起事反吳。建安二十二年（217年），陸遜向孫權建議：“方今英雄棋跱，豺狼規望，克敵寧亂。非衆不濟，而山寇舊惡，依阻深地。夫腹心未平，難以圖遠，可大部伍，取其精銳”。孫權採納其建議，任命他爲右部督。
同年，費棧被曹魏策反，在丹陽煽動山區越族居民起事，充當曹軍內應，配合曹軍。孫權命陸遜率兵前往征伐。時費棧人多勢大，陸遜帶去的兵馬較少，敵我懸殊。但陸遜採用多插旌旗牙幢、分佈鼓角、夜裡派人潛入山谷吹號擊鼓等疑兵之計，很快擊破費棧武裝。勒令各山區越族居民遷徙到平原地區，編入戶籍，種田納賦，從中挑選強壯者從軍，得精兵萬餘，使東吳統治得以加強和鞏固。之後，陸遜率所得精兵回駐蕪湖（今安徽蕪湖）。
會稽太守淳于式這時卻上表告陸遜“枉取民人，愁擾所在”。陸遜返回知道此事後，反爲淳于式說好話。孫權也有些不解，問：“式白君而君薦之，何也？”陸遜說：“式意欲養民，是以白遜。若遜復毀式以亂聖聽，不可長也。”孫權說：“此誠長者之事，顧人不能爲耳”。孫權對其風範甚爲佩服。
陸遜雖然在早期活動中初露鋒芒，但並不甚爲人知，直到建安末年，吳、蜀爭奪荊州時，他才脫穎而出，成爲吳軍一位傑出的後起之秀。荊州地處要衝，歷來是兵家必爭的戰略要地。建安十三年（208），曹操與孫劉聯軍爲爭奪荊州，進行了著名的赤壁之戰。戰後，劉備劉備佔據了武陵、長沙、桂陽、零陵四郡，孫權佔據了江夏郡和南郡南部。劉備佔領荊州大部分地區，既阻礙孫吳勢力向西擴展，又威脅着孫吳側翼的安全，成了孫權的一塊心病。從此，吳、蜀爭奪荊州的糾紛越鬧越大。
建安二十四年（219年）八月，蜀前將軍關羽水淹魏七軍，生擒主帥左將軍于禁，乘勝圍攻敗退樊城（今湖北襄樊）的魏徵南將軍曹仁，一時威震華夏（參見樊城之戰）。魏王曹操採納丞相司馬司馬懿、曹椽蔣濟的建議，利用劉備拒不歸還所借荊州，吳蜀聯盟出現破裂之隙，派人勸說東吳孫權抄襲關羽後方，並許諾把江南封給孫權。駐軍陸口（今湖北蒲圻西北）的東吳大將呂蒙認爲，關羽素懷兼併江南的野心，是對東吳的很大威脅，建議孫權趁機消滅關羽，以解除後患。孫權採納其計。
閏十月，爲隱蔽企圖，呂蒙稱病返回建業，途經蕪湖，陸遜前去拜見。陸遜對呂蒙說：“關羽接境，如何遠下，後不當可憂也？”呂蒙說：“誠如來言，然我病篤。”陸遜：“羽矜其驍氣，陵轢於人。始有大功，意驕志逸，但務北進，未嫌於我，有相聞病，必益無備。今出其不意，自可禽制。下見至尊，宜好爲計。”呂蒙大驚，但爲不泄露軍機，便說：“羽素勇猛，既難爲敵，且已據荊州，恩信大行，兼始有功，膽勢益盛，未易圖也”。經此番交談，呂蒙發現陸遜是可用之才。後呂蒙拜見孫權，孫權問誰可以替他在陸口指揮，呂蒙極力推薦陸遜，並說：“陸遜意思深長，才堪負重，觀其規慮，終可大任。而未有遠名，非羽所忌，無復是過。若用之，當令外自韜隱，內察形便，然後可克”。即拜三十六歲的陸遜爲偏將軍右部督，代替呂蒙。
建安二十五年（220）冬，曹丕篡漢稱帝，改元黃初。翌年（221）四月，劉備也在蜀中稱帝。與此同時，孫權移鎮於鄂，改名武昌。陸遜主張延納剛剛返回荊州的士人，以擴大孫吳政權的影響，孫權採用了他的意見。
黃武七年（228年）五月，吳鄱陽太守周魴派人送親筆信給揚州牧曹休，謊稱受到吳王責難，打算棄吳降魏，請求派兵接應。曹休未辨真僞，即率步、騎兵10萬人，去皖城（今安徽潛山）接應。魏明帝曹叡（治晉陽，今太原西南）命大將軍司馬懿率軍向江陵（今湖北江陵）；建威將軍賈逵率軍向東關（今安徽含山西南），與曹休相策應。