1943年夏，日本軍方高層已經意識到日本對華侵略戰爭必敗，於是開始考慮戰爭失敗後的應變策略，決定選擇一批優秀特工作爲潛伏人員長期定居中國，以便日後“東山再起”時發揮作用。
鑑於河下谷清上述的這些活動，並且他正好娶了中國老婆，於是決定對其進行進一步訓練，使其成爲一名適合潛伏的高級特工。1943年8月中旬，河下谷清突然在其活動數年的濟南失蹤，返回日本，進入位於東京中野區的日本陸軍憲兵學校特工訓練班。
同期受訓的特務學員一共有137名，接受了諜報、謀略、偵察、柔道、拳術、劍術、國際法、司法學、刑偵學、氣象學、攝影技術、電器修理、機械修理等訓練。
1944年初夏，河下谷清從日本陸軍憲兵學校特工訓練班畢業，他深知此次再赴中國，就不可能返回日本了，於是就回了趟島根縣老家，向父母作永久告別。
之後，河下谷清從東京飛赴上海，讓他那以舞女爲業的中國妻子出面替其向日僞上海特別市第二警察局購買了一張化名“尤志遠”的身份證，正式取得了中國國籍，然後搬遷住址，以中國居民的身份通過正常渠道向日僞上海警方報了戶口。
河下谷清將上海事宜安排妥當後，遵照命令前往北平，向日本華北派遣軍憲兵司令部警務部情報課報到。華北派遣軍將河下谷清等特工作爲寶貝一般隱藏起來，即使在形勢緊急人手特別短缺的關頭，也決不讓他們出來活動。
這樣，河下谷清等特工一直隱藏到1945年8月中旬日本投降後，方纔接受指令分別前往預定的地區潛伏。當時，日軍高層對於形勢的估計竟然是那麼樂觀，認爲三年後他們就能重新以佔領者的身份再次踏上中國的土地，所以，給河下谷清下達的指令是“潛伏三年，等候反攻”。
河下谷清於1945年9月3日離開北平，前往上海，開始了他的潛伏特工生涯。河下谷清準備潛伏三年，所以一切都是按照這個時間段來進行的，他手頭有着數額不菲的活動經費，可還是靠自己掙錢來維持全家人的生活。
他的掙錢方式是炒股票、倒騰金銀，爲了增加在市場上的競爭能力，他甚至掏錢進了英文補習學校補習英語。三年很快就過去了，可形勢的發展令河下谷清目瞪口呆：不但日本重新侵略中國沒有指望，連國民黨的統治也眼看要被中國共產黨推翻了！
河下谷清於是意識到自己的使命得無限期延長了，憑着他以前對中共的瞭解，他知道如若在中共統治下靠這三年所進行的歪門邪道是混不長的，於是決定做一個“老老實實的勞動者”，遂利用其在特工訓練班學得的技能，開了一家專門修理電器的鋪子，如此一直維持到現在。
按照河下谷清原先的想法，他以爲自己做得天衣無縫，長期潛伏料想不成問題。哪知這時警方已經盯上他了。他最初被正好來上海出差的徐永卿在虹口區三角地菜場門口發現，純屬偶然：他並不住在三角地菜場，那裡是他岳母的家，那天他是陪同妻子去給岳父祝壽的，因爲鬧得晚了，就住了下來，次日便去菜場買菜。
誰知竟然就讓徐永卿看見了。當然河下谷清自己是不知曉的，所以當後來警方盯上他的時候，他竟然還在樂觀地做着重整旗鼓的夢，因爲他此時收到了一封來自日本的信函，這封信給他帶來了新的希望。
這封信的來源是這樣的：河下谷清時刻關心着日本戰後的形勢，最初他相信日本情報機關會想到他這個潛伏特工，可是時間一年一年過去了，日本方面根本沒有派人來找過他，於是他懷疑由於**的改組，情報機關已經失去了相關檔案資料。
因此，河下谷清就想主動和日本方面取得聯繫。日本民間人士來中國進行貿易、旅遊、探親訪友的開始增多，上海是他們的首選口岸。河下谷清於是非常關注從日本過來的人士，他經常去日本人下榻的飯店、賓館和活動場所找日本人搭訕。
3月中旬的一個星期日下午，河下谷清去南京路閒逛時，在一家文具店遇到一個用英語跟營業員對話的日本人，於是便上去搭訕。對方一聽河下谷清的日語，馬上對他另眼看待，兩人便去咖啡館喝咖啡聊天。
過了一天，河下谷清又去那個日本人下榻的飯店造訪。通過交談，河下谷清知道這個日本人以前是日本陸軍中佐，參加過侵華戰爭，戰後他被佔領日本的美軍招募進了情報機關，這次來華並非做生意，而是奉命察看中國目前的情況的。
河下谷清於是便把對方當做自己人，遂將自己的想法及情況作了一番陳述，要求對方回國後向有關機關報告他的情況，溝通聯繫。對方也大爲高興，正好向河下谷清打聽中國的一些情況，好回去交差。
這個日本前中佐返回後不久，就給河下谷清來信了，說已經向有關機關報告了河下谷清的情況，獲得重視云云。河下谷清收到這封信後，自是非常激動。當然他沒有料到，這封信竟然在寄達前已經落入上海警方之手，拍攝了上面的內容。
重新接上頭的河下谷清準備關閉電器鋪子，另外找一份工作。正好這時有一個機會找上門來了：那是北方一家國營小廠，因爲生產技術的關係，其技術人員在赴上海採購器材時跟河下谷清結識了。
河下谷清憑着自己多年折騰電器得出的經驗爲他們解決過一些技術上的難題，被他們看做是一位高級師傅。最近，這家小廠和另外幾家工廠合併成一家頗具規模的中型廠，生產的產品中部分是和軍工相關的。
由於缺乏技術人才，就向全國各地招工。那幾個技術人員於是就想到了河下谷清，專程赴滬，盛情相邀。這對於河下谷清來說，好比是瞌睡碰上了枕頭，自是一拍即合。
於是，在一番談判之後，雙方很快就達成了一致意見，河下谷清欣然同意前往北方工作，擔任這家新廠的工程師。這番談判，當然沒有逃脫特別調查小組的監控。報批情報部後，相關領導當即下令：收網！