第394章 超參數全自動搜索

江寒掛了電話,沉吟不語。

老江關切地問:“沒談妥嗎?”

江寒搖了搖頭,嘆了口氣:“談下來一半。”

“一半?”

江寒點了點頭:“大江入駐高新區,問題不是太大,只是時間上……最快也得排到下半年了。”

周市長雖然對自己印象很好,但在原則問題上,一點也不肯鬆動。

這就沒辦法了。

江寒和老江研究了一下,最後還是決定出去租寫字樓。

但說實話,就算找得到理想的地方,只怕一時半會兒之間,也很難辦妥,更要多掏不少錢。

正說話間,夏如冰來上班了。

不知不覺之中,她已經恢復了原本的明豔,精神狀態更是十分良好。

一見面,夏如冰就笑吟吟地打招呼:“老闆早,江總早!”

江寒灑然一笑:“早!”

老江也儒雅地點頭:“夏總早。”

江寒打量了夏如冰一眼,忍不住旁敲側擊了一句:“小姨啊,看您的氣色,這幾天好像心情挺不錯?”

夏如冰嫣然巧笑:“是啊,閒了這麼久,總算有點事做,當然開心了。”

江寒:“……”

這麼敬業的嗎?

但他關心的,其實是她和老易倆人,到底有沒有和好……

“剛纔你們兩個,一本正經的,到底在研究什麼?”夏如冰問。

江寒將打算租樓的事情,跟夏如冰說了。

夏如冰明媚一笑:“這事兒好辦啊,盛夏這棟樓裡,不是還剩不少地方嗎?反正這麼多地方,他們也用不了,稍微挪動一下,騰出一層、半層樓,問題應該不大。”

江寒無語一秒:“這樣不太好吧?”

夏如虹能給自己兩件辦公室,加地下的機房,已經很難得了。

如果再得寸進尺的話……

夏如冰笑了笑:“這樣吧,我打個電話問問,如果盛夏那邊不方便,咱們再另外想轍兒。”

江寒考慮了一下,點了點頭:“也行,不過……別讓夏阿姨爲難。”

“那當然。”

夏如虹答應了一聲,又說:“老闆,一會兒會有不少人來應聘,你要不要把把關?”

江寒灑然一笑:“好!不過我只負責技術人員,其他的職位,還要你和老江自己決定。”

距離面試開始,還有一個多小時。

江寒想了想,來到了隔壁。

這個實驗室佈置好之後,一直沒怎麼用,今天正好試試機、找找感覺。

這裡配備了兩臺相當先進的電腦,和地下機房裡的服務器直連,通過這兩臺終端,就可以方便地操作服務器。

前天,江寒爲了製作OCR軟件,批量打造了上千個人工神經網絡。

其中絕大多數,都擁有一模一樣的網絡結構,只是引入的訓練數據不同。

這樣訓練出來的模型,也就只有權重參數上的區別……

經過兩天的訓練,這些網絡已經完全訓練完畢。

江寒將這些網絡,組合到了一起,再套上一層事先準備好的,用vc--編寫的簡易UI。

很快,OCR軟件就初步成型,可以投入使用了。

江寒思考了一下,命名爲“極光OCR”。

至於這個名字的含義……其實他沒想那麼多,就是覺得挺順口的。

然後,他又將源代碼和可執行文件,全都用U盤拷貝下來,帶走。

這樣晚上回家後,就可以正式啓動那個計劃,在虛擬空間裡暢快地學習了……

隨後,江寒進入了虛擬空間。

他爲ImageNet比賽編寫的代碼,還有相關的論文草稿,就保存在286電腦中。

江寒很快將這些東西,發送到了外面的電腦中。

然後又打開手機,把昨晚下載的訓練數據、校驗數據,也傳送給這臺終端電腦。

程序有了,數據也有了。

江寒又進行了一番算不上辛苦的調試,深度卷積神經網絡終於基本成型。

但在開始訓練之前,還有一點工作要做。

這個深度CNN,所擁有的參數實在太多了,哪怕原始數據有足足12萬多條,也很很容易發生過擬合。

所以,爲了提升泛化能力,有必要做一下數據增廣。

數據增廣的方案有許多。

江寒思考了一下,選擇了一種新方案。

原始圖像是256×256的分辨率。

江寒設計了一個程序,從中隨機扣出來224×224大小的區域。

每張原始圖像,都有(256-224)^2=1024種不同的扣法,這樣一來,就相當於將原始數據增廣了1024倍!

接下來,他又將得到的圖像,全都水平鏡像一次,就得到了等於原始數據2048倍的超大數據集合。

增廣完數據,江寒還覺得不夠保險,爲了進一步提高算法的效能,他決定對網絡中用到的超參數,進行一些優化。

以前他也做過人工神經網絡超參數的優化,但那時採用的手段,主要是手動修改超參數,然後人工分析、比對。

看修改了某個超參數後,網絡的表現是上升了還是下降了,從而找出較爲優秀的模型。

不用說,這種做法最大的缺陷,就是效率實在太低。

江寒在這次的比賽中,決定使用一種新技術。

這是他前一陣子,煞費苦心設計出來的方案,代碼複雜度令人髮指。

好在他的腦子夠好用,在消耗了大量心血,吃掉了無數冰島紅極參之後,終於是開發成功了。

功能很簡單,就是自動對超參數進行搜索、優化,以找到結構更合理、性能更好的人工神經網絡。

江寒爲這門技術取名ASSP(Auto search for super parameters)。

當然,其實就是“搜索超參數”的英文直譯……

ASSP的原理很簡單,就是包裝在人工神經網絡模板外層的一個“殼”。

通過一個調度函數,在訓練神經網絡之前,先按照事先確定的規則,微調某些超參數。

每當完成一輪訓練,還會按照既定的規則,從各個方面進行評分。

比如,在梯度下降的過程中,模型是否收斂、收斂速度如何?

不能收斂的網絡,根本無法訓練,也就毫無價值,如果收斂速度過慢,訓練起來也會缺少效率。

此外,網絡模型在驗證集中的表現,泛化能力、識別準確度、網絡的穩健性……

最後,將每次訓練完成後,人工神經網絡的綜合得分,從高到低排一下序。

江寒通過最後生成的表格,就可以選取合適的超參數組合了。

爲了讓這個超參數搜索程序,獲得更高的工作效率,需要先指定超參數的搜索範圍。

範圍太大的話,會導致搜索時間過長,可能會等不及出結果;如果範圍太小,又很可能找不到合格的超參數取值。

這個搜索範圍,可以看做SFSP的超參數,只能憑經驗設定。

好在江寒已經訓練過許多次人工神經網絡,有着十分充足的經驗。

他將ASSP和深度CNN的代碼融合之後,連同訓練數據、驗證數據,全都上傳到了地下數據處理中心的服務器裡。

差不多兩天之後,ASSP就能得到初步的成果。

至於整個CNN網絡的訓練,那可就有得等了。

原始數據是12萬多條,增廣到2048倍之後,就是2億4千5百萬餘條數據!

數據量實在太龐大了,即使使用了GPU來提速,至少也需要5~7天,才能完成初步的訓練。

江寒讓程序跑起來之後,就走出了實驗室。

打算回到遊戲工作室裡,休息一下,然後去主持面試。

剛喝了兩口水,手機忽然響了起來。

來電是夏如虹的,江寒連忙接了起來,叫了聲:“阿姨。”

“你在哪了?”夏如虹聲音溫婉。

“17樓辦公室。”江寒回答。

夏如虹打這個電話,主要是討論寫字機器人的銷量和分成。

寫字機器人上市的時候,已經接近年底,所以截止2012年12月31日,只賣出了30多萬臺。

按照當初的約定,江寒將獲得3.5%銷售額的分成。

機器人的出廠價是每臺558元,3.5%就是每臺19.53元,30萬臺……

江寒隨便心算了一下,就得出了答案:580多萬。

這就比較讓人愉快了。

有了這筆錢,星空那邊的錢,暫時就不急着動用了。

這樣也能避免不少匯兌、稅費之類的損失……

第192章 許文強和馮程程第118章 《如何高效判斷數據是否線性可分》第373章 肉體永生,還是機械飛昇?第77章 多少次回眸第84章 磁陣第312章 阱中有坑,坑裡有釘第139章 野豬!?第335章 長痛不如短痛第36章 家宴第209章 校服就是最正式的裝扮第195章 二八佳人體如酥第319章 那年,那個女孩兒第182章 罪證都沒銷燬乾淨第129章 兩道試題第119章 高中課程裡有這些?第111章 虛擬空間,開啓!第279章 一舉成名天下知第247章 對拍、Day1第三題第68章 舉報了、舉報了第40章 好朋友來了第353章 神乎其技第398章 商用級手寫識別算法第321章 星戰銀行,黑卡飛刀第297章 Py大法威力無窮第345章 意外連連第80章 碰碰船和真人CS第1章 一夜回到十年前第424章 又一個冠軍到手第17章 男朋友挺好第354章 迷你3D打印機第194章 睡不着怎麼辦?第27章 買書偶遇第348章 只會下蛋,不會生寶寶第340章 實力還是運氣?第282章 又一顆壞蘋果?第263章 一切都在算計中第288章 合理避稅第7章 所謂“取整”,就是……第207章 複賽環境和Arbiter評測系統第78章 土豆和男朋友第402章 讀書之樂,臨行之前第56章 花錢容易賺錢難第290章 其實已經有點過時了第257章 NOIP中最難的題型第204章 是男人就餵飽她第194章 睡不着怎麼辦?第249章 胸有成竹,根本不慌第378章 用詞精準第137章 聽鬆小院,好地方?第280章 這就成了“學者”了?第144章 時序邏輯電路和寄存器第406章 不可思議的學習效率第97章 媽媽問我爲何跪着看手機?第16章 倔強的夏雨菲第417章 江寒的圍棋水平第164章 不會被下藥吧?第179章 馬爾可夫隨機場第430章 超算落成,九段助陣第193章 這也太考驗人了吧?第224章 上癮了怎麼辦?第268章 最終版本第184章 眼神這麼好使的嗎?第354章 迷你3D打印機第217章 超級粉絲第291章 驚動了各路神仙第363章 終於對《我的世界》下手了……第188章 金風玉露一相逢第78章 土豆和男朋友第104章 鮮花與牛糞第403章 家產億萬,平平無奇第170章 只是一場遊戲嗎?第151章 那就別走了第195章 二八佳人體如酥第171章 蘇婉瑩的秘密第176章 現學現賣第144章 時序邏輯電路和寄存器第46章 月考開始第357章 再給你一次機會第308章 敬可愛又無常的命運第352章 有了一個小助手第369章 點八個,贈十個……第340章 實力還是運氣?第199章 大功告成第254章 數據解析和FCN的拓撲結構第378章 用詞精準第209章 校服就是最正式的裝扮第390章 兩份DNA檢測報告單第235章 有所不爲、有所必爲第427章 詭異的附加關卡第71章 憑什麼是江寒?第162章 奇怪的U盤第253章 不幸猜中了第317章 爲什麼偏偏是那串數字?第315章 故伎重施第429章 阿法狗的三板斧第7章 所謂“取整”,就是……第48章 《如果時間能倒退》第202章 輸得明明白白第398章 商用級手寫識別算法第270章 夏如冰的遭遇
第192章 許文強和馮程程第118章 《如何高效判斷數據是否線性可分》第373章 肉體永生,還是機械飛昇?第77章 多少次回眸第84章 磁陣第312章 阱中有坑,坑裡有釘第139章 野豬!?第335章 長痛不如短痛第36章 家宴第209章 校服就是最正式的裝扮第195章 二八佳人體如酥第319章 那年,那個女孩兒第182章 罪證都沒銷燬乾淨第129章 兩道試題第119章 高中課程裡有這些?第111章 虛擬空間,開啓!第279章 一舉成名天下知第247章 對拍、Day1第三題第68章 舉報了、舉報了第40章 好朋友來了第353章 神乎其技第398章 商用級手寫識別算法第321章 星戰銀行,黑卡飛刀第297章 Py大法威力無窮第345章 意外連連第80章 碰碰船和真人CS第1章 一夜回到十年前第424章 又一個冠軍到手第17章 男朋友挺好第354章 迷你3D打印機第194章 睡不着怎麼辦?第27章 買書偶遇第348章 只會下蛋,不會生寶寶第340章 實力還是運氣?第282章 又一顆壞蘋果?第263章 一切都在算計中第288章 合理避稅第7章 所謂“取整”,就是……第207章 複賽環境和Arbiter評測系統第78章 土豆和男朋友第402章 讀書之樂,臨行之前第56章 花錢容易賺錢難第290章 其實已經有點過時了第257章 NOIP中最難的題型第204章 是男人就餵飽她第194章 睡不着怎麼辦?第249章 胸有成竹,根本不慌第378章 用詞精準第137章 聽鬆小院,好地方?第280章 這就成了“學者”了?第144章 時序邏輯電路和寄存器第406章 不可思議的學習效率第97章 媽媽問我爲何跪着看手機?第16章 倔強的夏雨菲第417章 江寒的圍棋水平第164章 不會被下藥吧?第179章 馬爾可夫隨機場第430章 超算落成,九段助陣第193章 這也太考驗人了吧?第224章 上癮了怎麼辦?第268章 最終版本第184章 眼神這麼好使的嗎?第354章 迷你3D打印機第217章 超級粉絲第291章 驚動了各路神仙第363章 終於對《我的世界》下手了……第188章 金風玉露一相逢第78章 土豆和男朋友第104章 鮮花與牛糞第403章 家產億萬,平平無奇第170章 只是一場遊戲嗎?第151章 那就別走了第195章 二八佳人體如酥第171章 蘇婉瑩的秘密第176章 現學現賣第144章 時序邏輯電路和寄存器第46章 月考開始第357章 再給你一次機會第308章 敬可愛又無常的命運第352章 有了一個小助手第369章 點八個,贈十個……第340章 實力還是運氣?第199章 大功告成第254章 數據解析和FCN的拓撲結構第378章 用詞精準第209章 校服就是最正式的裝扮第390章 兩份DNA檢測報告單第235章 有所不爲、有所必爲第427章 詭異的附加關卡第71章 憑什麼是江寒?第162章 奇怪的U盤第253章 不幸猜中了第317章 爲什麼偏偏是那串數字?第315章 故伎重施第429章 阿法狗的三板斧第7章 所謂“取整”,就是……第48章 《如果時間能倒退》第202章 輸得明明白白第398章 商用級手寫識別算法第270章 夏如冰的遭遇