呂布很早就聽說，潁川是一個地傑人靈的地方，除了荀彧、荀攸叔侄和郭嘉之外，除了袁紹麾下的荀諶、郭圖、辛評之外，還有四大名士辛毗、陳羣、杜襲、趙儼，呂布曾慕名徵辟之，可惜當時呂布剛到洛陽，名聲不彰，均被他們拒絕。
後來董卓霸佔洛陽，洛陽靠近潁川，戰火蔓延，潁川四大名士爲避戰亂，分別離開潁川，陳羣舉家搬遷到徐州，辛毗跟隨兄長辛評投靠袁紹，而趙儼、杜襲相約一起前往荊州暫避，並在那裡結識了同鄉繁欽，三人一見如故，頓成莫逆之交。
當時荊州刺史還是韓馥，他素聞趙儼、杜襲、繁欽之名，刻意對他們進行籠絡，並以貴賓之禮對待他們三人，多次請他們入仕。趙儼通過觀察，認爲韓馥生性怯弱，不能長久，堅辭不就，果不其然，過了不到一年，袁紹就竊取韓馥的荊州。
袁紹又延請趙儼三人，趙儼則認爲袁紹色厲內荏，外寬內忌，喜歡招攬人才卻不能量才使用，不是一個成大事的主，繼續堅辭不就，還勸說在袁紹面前炫耀文才的繁欽遠離袁紹，以免抱憾終生。
三人繼續南渡，隱居在長沙郡，靜待時局。
後來呂布迎少帝於鄴城，發佈唯纔是舉令，並實施屯田制度，趙儼認爲“呂鎮北（當時呂布還爲鎮北將軍）應期命世，必能匡濟華夏”，於是就同杜襲、繁欽等人一起舉家北還，然而司隸一帶被董卓佔據。他們無法北上，滯留在襄陽時。他們又被袁紹延請，不得已暫時爲袁紹效力。
此後呂布奇襲洛陽，兩次擊敗袁紹，袁紹膽寒，遂卻了北上跟呂布抗衡的決心，一心往南邊發展，趙儼因此更看輕袁紹，數次準備北上投奔呂布。都因爲時機不成熟而停止。
這次呂布扶持少帝還都洛陽，袁紹跟孫策在江夏一帶正打得如火如荼，擔心背部受敵，有心跟呂布恢復舊好，便派辛毗爲使者，前去洛陽朝見天子，象徵性地貢獻一部分賦稅。當然重點是拜謁大司馬呂布。
趙儼、杜襲、繁欽便攜帶家眷，混入辛毗的車隊裡，前去洛陽。
呂布得到趙儼、杜襲、繁欽到來的消息，大喜，親自迎出大司馬府。
呂布如此器重趙儼三人，實在是瞭解這三人在歷史上都有值得器重的才能和表現。
趙儼最卓越的才能便是善於處理諸將的關係。是一個非常傑出的參軍人才。
那一世，建安二年，趙儼投奔曹操，曹操任命趙儼爲郎陵長。在郎陵，趙儼恩威並用。郎陵混亂局面迅速好轉，趙儼在郎陵結識了陽安都尉李通。趙儼勸告李通忠誠於曹操。殺死了袁紹招降的信使，又拒絕了劉表的招撫，而後趙儼又協助李通率領陽安軍民，平息了流竄於淮河與汝河之間的流寇，使陽安成爲屏護許昌的堅固堡壘，免去了曹操同袁紹決戰的後顧之憂。
建安六年，由於曹操採納棗祗的建議實行屯田效果顯著，就下令軍隊也實行屯田。曹操的三位大將張遼、樂進和于禁分別屯駐於長社、陽翟和潁陰，他們彼此之間由於功高位顯而不服氣，經常爲一些瑣碎之事發生爭吵，以至於發生嚴重的摩擦，影響了軍隊內部的團結。曹操就任命趙儼爲參軍，參與張遼、樂進、于禁三軍軍事。趙儼運用規勸、疏導的方法消除化解矛盾，解決問題，終於使三位大將消除積怨，保證了軍隊的團結。因趙儼治軍有方，從此經常被任命爲都督護軍，統率協調曹操的高級將領出外征伐。曹魏建國後，先後持節督護荊州、豫州、雍州、涼州等地駐軍，爲軍隊的安定團結，竭盡全力。
建安二十四年，關羽克襄陽，斬龐德，降於禁，水淹七軍，圍曹仁於樊城。曹操任命趙儼爲參軍，助曹仁守樊城。他隨徐晃率領的援軍一同南下到樊城附近時，衆將都請求直接攻擊圍城的關羽大軍。趙儼指出：“關羽正兵強勢盛，樊城已被牢牢包圍。我軍遠道而來兵力疲憊，又與城內不通消息，立即出擊，只會損兵折將，有百弊而無一利。建議徐將軍在城外安營紮寨，想法與城內聯絡，使城內的士兵振作士氣，堅守待援，等其他各路援軍到齊，內外齊發，一舉擊敗關羽，解樊城之圍。”趙儼還向衆將表示，此舉如果受到曹操責罰，由他來承擔罪名。徐晃採納了趙儼的建議。時隔不久，東吳孫權派呂蒙襲擊荊州，關羽急忙撤兵增援荊州。衆將這時又勸曹仁乘機出兵襲擊關羽。趙儼連忙勸阻，他指出：“孫權乘關羽圍樊城之機，襲擊其後方，但因害怕我軍會利用兩敗俱傷的機會去進攻東吳，這才向魏王謙詞稱臣，實際上也是在觀察我軍的態度。現在關羽前進難取，老巢又被襲，已準備孤注一擲。而今不如讓他與孫權對抗，倘若我軍追擊關羽深入到江南，勢必會威脅到東吳。孫權權衡利弊，會設法同關羽修復關係，共同對抗我們，這樣反而會給我們留下無窮禍患，魏王現在也肯定在爲此而擔擾。”曹仁同意趙儼的分析。果不其然，曹操因擔心曹仁會南下追擊關羽，不久就派使臣快馬傳令，要他收兵。
趙儼膽識過人，多謀善斷，圓通和睦，又剛毅有度、忠正廉潔，值得呂布重用。呂布還是先委任他爲大司馬掾屬，數月後便封爲郎陵縣縣令，後來又任命爲上庸郡太守，後來任荊州總參軍。
杜襲的才能跟趙儼差不多，也是一個非常卓越的參軍人才。
那一世，杜襲見劉表外似懷柔寬厚，待人不失禮數，而內心頗多猜忌，又優柔寡斷，在羣雄征戰，逐鹿中原，勝者王侯敗者寇的混亂局面下，劉表斷非可託付終身之人，遂漸有去意。而同郡繁欽，每在宴席之上，或即席賦詩填詞，或說笑逗樂，取悅劉表，杜襲對此深不以爲然。一日，劉表離席，杜襲很嚴肅地對繁欽說道：“我們所以遠離家鄉，躲避在南方溼麓之地，就好像是蛟龍藏匿於幽僻的河澤間，等待時機，騰飛九宵。難道能夠把劉表之人當作力挽狂瀾、撥亂反正之主，而委身於他嗎？你若不能約束自己，而一味地在庸主面前賣巧取寵，我們就不再是朋友了。”繁欽不由得肅然起敬，恭敬地答道：“我願聽從您的教誨。”
杜襲跟着趙儼投奔曹操，被曹操任命爲西鄂長。這個縣靠近南部邊境，匪賊活動猖獗。當時的縣官都聚合百姓守衛城郭，無法耕田。田地荒蕪，百姓貧困，倉庫空虛。杜襲遣送老弱百姓分散到家鄉從事田間勞動，留下強壯男子防守縣城。正遇上荊州劉表派出步兵騎兵一萬人前來攻打縣城，杜襲於是召集所有守城的官吏百姓共五百多人，和他們訂立誓約，他們都磕頭表示拼死效力。杜襲於是親自拿着弓箭和石塊，帶領他們合力拼殺。官吏百姓十分感動，都願爲他獻出生命，臨陣殺敵數百人，而杜襲的部屬也死了三十多人，其餘的十八人都負了傷，荊州軍才攻入城內。杜襲帶領負傷的官吏百姓突圍出城，他們幾乎全都戰死，但卻沒有一個叛變的。
司隸校尉鍾繇上表舉薦杜襲，授任議郎參軍事。荀或又舉薦杜襲，曹操任命他爲丞相軍祭酒。杜襲後來兼任丞相長史，跟隨曹操到漢中征討張魯。曹操返回時，留杜襲下來統領漢中軍事。杜襲安撫開導百姓，百姓自己樂意遷出去洛陽、鄴城的，有八萬多人。
夏侯淵被黃忠殺死，漢中曹軍失去了主帥，將士們十分驚恐。杜襲和張郃、郭淮共同主持各軍事務，暫由張郃擔任主帥，三軍於是安定下來。曹操返回鄴城時，要選定留府長史，鎮守長安，負責這事的人所選取的多不適當，曹操說：“放着千里馬不去乘坐，何必急急忙忙地向別處尋求呢?”於是任命杜襲爲留府長史，駐守關中。
呂布跟杜襲聊了許久，發現此人雖然貌不驚人，但腹有良謀，而且他勸諫人都不會正顏厲色，而是換個能夠讓上位者接受的方式，成功率比直諫的高多了，呂布非常佩服他這一點，因爲只有這樣才能成功地勸諫到主公，才能真正發揮自己的聰明才智，這一點確實值得田豐、沮授等人學習，不過田豐、沮授現在投靠的是呂布，他們不需要學習這種技巧，呂布自己有高瞻遠矚明辨是非的能力。
對杜襲的任命類如趙儼，先爲大司馬掾屬，等思想整風差不多了，便外放到臨近襄陽的蔡陽縣爲縣令，政績突出了，就擢升到汝南郡太守，然後再爲州參軍。
繁欽則是以文采見長，雖然沒有建安七子那麼名聲顯赫，卻也獨有風格，他的《槐樹詩》和《柳賦》流傳於後世，槐樹詩：“嘉樹吐翠葉，列在雙闕涯。旑旎隨風動，柔色紛陸離。”柳賦：“有寄生之孤柳，託餘寢之南隅。順肇陽以吐牙，因春風以揚敷。交綠葉而重葩。轉紛錯以扶疏。鬱青青以暢茂，紛冉冉以陸離。浸朝露之清液，曜華採之猗猗。”
他在歷史上跟着趙儼、杜襲投奔曹操，曾任曹操的丞相主薄，以善寫詩、賦、文章知名於世。
呂布知道他在軍事、治政上都沒有特別才華，只在文采上有點才華，便特材特用，留他在秘書室，跟着路粹、王粲一起共爲呂布起草文書並負責記錄、宣傳呂布的詩詞、語錄。