李彥直回到月港之後，便宣佈要組織鄉勇，入海打擊倭寇，救回兄長。
嘉靖年間東海各方面勢力的情況十分複雜，華人、倭人、回回、西番，諸族雜處，官兵、商人、海盜力量互爲消長，又互相滲透。如果我們將這些族裔與職業互相搭配，就把此時活躍在福建沿海的各路人馬大致區分開來：官兵、華商、華人海盜、倭商、倭寇、回回商人、佛郎機商人、佛郎機海盜。這些人無論經商還是搶劫，活動的地域都主要集中在中國東南沿海——因爲這一帶不但靠海，而且當時是全世界最大片的富裕區域。
對這一時期所發生的事情，很難用某種一刀切的標準來判定善惡——尤其是官兵與海盜之間衝突上，官兵未必是正義的，反之所謂的“寇”亦不見得全部都壞。一言以蔽之，這個時代在東海活動的人，都是爲利而來，爲利而往，大家都不是魔鬼，也都不是好人。
在李彥直十八歲這年，大致來說東海最活躍的力量乃是商人，如果要在這商人面前加上一個限制性定語，可以說是華商！
這時的東海商貿圈基本是中國商人的天下，西來的葡萄牙人是在中國商人的幫助才得以前往日本，東海諸國裡，日本商人在東海商貿中的影響遠不及中國商人來得大，朝鮮商人的影響更可以忽略不計。中國商人的這些輝煌成就，完全是在沒有政府支持下取得的。
國民爲了生存發展而要求與外國貿易，這是他們出於私慾的衝動，而其經商若控制得法，可以爲國家增加稅賦滋養民生，所以重商政府通常會加以支持、保護、引導並從中徵稅——嘉靖時期的葡萄牙、西班牙諸國基本都是這麼幹。
但在中國的社會環境下，大明政府對民間的海外商貿不但沒有實質性的幫助與保護，反而設置了重重障礙，爭貢之役之後甚至全面禁海！在失去了正常商業通道的情況下，中國海商只好踏上走私這條既無奈又危險的道路。這時東海海面上除了這羣商寇合一的海商之外，還有一批完全以劫掠爲生的海賊，海商們要想保住財產性命，便不得不將自己武裝起來：一邊對付本土海盜，一邊對付葡萄牙海盜，一邊對付日本沿海倭寇，同時還要面臨朝廷的圍剿。
也正是這個原因讓這個時代的中國海商兼具三種身份：做生意時，他們就是商人；面對官府圍剿時，他們就變成了賊寇；而遇到那羣真正的海盜時，他們又變成了一支私人海軍。當然還有更嚴峻的情況：如果生路完全被截斷，這批人鋌而走險起來，那就什麼殘酷的事情都可能發生了，水滸人物敢幹什麼，他們也就敢幹什麼！
明朝中後期的中國海商就是這樣在國外、國內多重壓力下痛苦地成長着，可即使這樣他們仍然掌控了中國沿海商貿的主導權，並將勢力不斷向東洋和西洋推進。他們在爲自己也爲自己爭取財富的同時，也在爲這個民族爭取被政府遺忘了的海權！但是，擁有如此貢獻的他們卻連商人這樣卑微的合法名分都被剝奪了，朝廷贈予他們的帽子是——賊寇！
朝廷既已禁海，凡私自下海者，即爲賊寇！
又由於這些海商走倭島賺日本人錢的特別多，還常常會僱傭一些日本人做馬仔，所以他們的身份又常常和“倭”字扯在一起，以至於許多商團明明是華人爲主，卻被叫做倭寇。
在嘉靖二十二年，海盜爲禍未酷，而禁海已害人不淺，所以沿海的小民們寧可親寇，不願親官，李彥直的身份是舉人，才從省城來，打交道的不是林希元這樣的官僚鄉紳，就是田大可這樣的高級軍官，所以月港方面下九流，便都把他當上流社會來看待，聽說他要打擊倭寇，都紛紛避着他，均想：“又來一個沒事惹事的！”
陳羽霆要買糧食船隻，處處碰壁，吳平要打探倭寇消息，人人戒口，整個月港從八十歲的老太婆到四五歲的小孩子，個個都可能是海商、海盜們的眼線。李彥直畢竟是個舉人，在沒欺到自己頭上之前，小民們還不敢動他，卻都儘自己所能，不給他提供糧食、船隻，不給他提供情報，甚至東偷一點東西，西挖一點牆角，搞些小破壞——雖然沒什麼大動作，可是小破壞積累得多了，卻也足以讓陳羽霆焦頭爛額！
李彥直很快就發現情況不對，一時之間卻不知如何解決，這日正與陳羽霆籌謀無計，吳平忽引了一個人來求見。
“是什麼人。”李彥直問。
“是一條有見識的好漢！”吳平說。
吳平的眼界，李彥直是很清楚的，所以聽吳平這麼形容，李彥直便忍不住眉毛揚了揚道：“能被你稱爲好漢，那自然要見一見！”
吳平便去引了一個男子進來，李彥直仔細打量這人，見他中等身材，三十歲不到年紀，穿着一身打了補丁的舊布衫，面有菜色，似爲貧窮所困，但雙眉卻無半分愁色，心道：“果然氣概不凡！閩省豪傑，何其多也！”連忙下座，請問姓名。
那男子道：“小人張維，本地人氏，見過李孝廉。”
二人坐定，李彥直命上茶，寒暄畢，李彥直道：“自我揚言要入海擊倭，漳州全府，人人避我。張壯士是本地人，爲何卻來找我。”
張維笑道：“大夥兒都誤會李孝廉了，所以躲避。張維未曾誤會，所以不請自來。”
李彥直哦了一聲，問道：“大夥兒誤會我什麼了？”
張維且不回答，卻問道：“李孝廉，你可知對這閩南貧苦百姓而言，誰是衣食父母麼？”
李彥直道：“民以食爲天，衣食父母，自然是土地。”
“不對！”張維道：“福建土地，貧薄狹促，若只靠着泥巴里長出來的東西，光是漳州泉州二府，每年就得餓死十萬人！但今時今日，我漳、泉子弟還勉力能支撐，靠的不是農，而是商！尤其是海商！那些冒死出沒於風浪之中的海商，纔是我漳、泉百姓的衣食父母！”
李彥直道：“張兄說的原來是這個。工商之能益民，我素深知，不見我李家亦有同利商號麼？同利在漳州、泉州的生意，也做得很不小。”
張維道：“李孝廉既然自家也做生意，怎麼卻還要打擊海商？”
李彥直道：“我要打的是倭寇，不是海商。”
張維卻道：“李孝廉難道不知道閩南官兵和士大夫，有時候會藉着打擊倭寇之名打擊海商、盤剝小民麼？”
李彥直對閩南的形勢也不是不知，只是一時計不及此，被張維一點醒，才驚叫道：“哎喲！我怎麼把這一層嫌疑給忘了！”又道：“我雖然沒來過月港這邊，但我二哥李介卻常駐於此，因此我想各處商家應該能理解我纔對。而且我們在自己賺錢之餘，也僱了不少漳、泉子弟，且和本地士紳聯手，在此處立有義倉，豐年以平價入，災年以平價出，算來對本地也算有些貢獻，卻沒想到這次要做一點事情，卻遭到月港上下的反對。”
張維道：“李孝廉，李二爺與你雖然是骨肉至親，但一在商界，一在仕途，你們之間究竟是兄弟一體還是分道揚鑣，外人哪裡清楚？李二爺那邊還好些，畢竟他擺明了是在做生意，但是李孝廉你自到閩南以後，見的不是林氏大老爺，就是鎮海指揮使，這些對月港的下九流來說，那都是天上的人物。至於那義倉之設，漳、泉父老也是感激的，不過在下九流看來，那也是士紳一層常有的善舉，不能拉近你與小民們的距離。士紳老爺們與我們這些升斗小民，彼此隔閡不淺，他們雖也涉足海外貿易，但這些老爺們做生意的道道，與我們這些小民畢竟不同。這些老爺們其實不是很怕朝廷派人打擊倭寇，因爲朝廷再怎麼嚴打也打不到他們頭上，但我們卻很怕，因爲會殃及池魚。李孝廉你自入境以來，就一直與官老爺們打交道，一扯大旗，就說要打倭寇，這叫我們這些小民如何不疑你？”
說到這裡，李彥直已完全明白，頓足道：“我懂了，我懂了。這件事情確實是我顧慮不周！”身子前傾，虛心請教道：“張大哥，你可得幫我想個辦法，消除一下大夥兒心中對我的疑慮。”
張維聽他連稱呼都變了，心下大悅，便道：“李孝廉，你此番要籌糧募人，爲的究竟是什麼？是要救人，還是要滅倭？”
李彥直道：“自然是要救人！因我二哥可能是落在倭寇手中，所以才說要滅倭。”
“這就簡單了。”張維道：“如今李孝廉你在小民中威已著，信未立，我的建議是，先把有嫌疑的滅倭二字淡化掉，且以入海‘尋兄’爲名行事，便可減免許多麻煩。”
李彥直道：“更換名義容易，只是入海之後要是遇到倭寇，那時節……”
“打！”張維道：“閩南的父老鄉親，怕的不是你打真倭寇，而是怕你借打倭寇爲名擾民！大夥兒對真倭寇那也是深惡痛絕！若李孝廉入海之後能不打海商，只打真倭真寇，大家支持你都來不及，哪裡還會扯你的後腿！”
李彥直大悅，道：“得張大哥這一席話，李哲真如撥雲霧而見青天！我想邀張大哥助我一臂之力，請張大哥幸勿推辭。”
張維欣然道：“李孝廉賢名播遍閩省，若能於鞍前馬後效犬馬之勞，那是張維的榮幸！”