來源：量子位

蕭簫 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

好消息，谷歌將AutoML算法庫開源了！

這個名為“模型搜索”（Model Search）的平臺，不僅可以用多個AutoML算法自動寫出你想要的AI模型，還能幫你選出寫得最好的那個。

最重要的是，各個領域都能用。

也就是說，以往只支持NLP、圖像分類等等單一領域模型搜索的AutoML算法，現在被整合到了一個平臺上，可以幫你構建任何AI模型。

現在，無需再重新設計參數、或反復微調，“AI設計師”就能幫你寫出想要的模型。

“模型搜索”是個什么平臺

此前，AutoML算法已經被應用到了各個領域，用來減輕神經網絡設計專家的負擔。

這種算法，目的是讓AI來設計神經網絡，自動對網絡深度、層類型、結構、優化算法等因素進行合理搭配，效果通常比人工直接設計更好。

然而，這種由AI來設計AI模型的方法，會面臨兩個問題。

其一，這些算法通常只能針對某一特定領域，無法被應用到其他領域中。

例如針對NLP的AutoML算法，就無法設計出圖像分類的AI模型。

其二，計算量很大。

之前的NAS和PNAS算法，往往需要訓練數千個模型，才能找到效果最好的。

針對這兩個問題，谷歌現在推出了“模型搜索”開源平臺，致力于解決它們。

這個系統由多個訓練器（trainer）、1個搜索算法、1個遷移學習算法和1個包含多種評估模型的數據庫構成。

過程中，每個訓練器都會獨立地構建模型、進行試驗，但這些訓練器能共享數據，并采用橫向搜索，決定下一步嘗試什么樣的模型。

“模型搜索”能根據一組預定義模塊，來構建神經網絡模型，每個模塊包含一個經典微結構，包括LSTM、ResNet或是Transformer中的某些層等等。

這種微結構的模式，也減少了搜索規模，因為它探索的是這些模型的結構，而非更詳細的基本部分。

而為了進一步提高效率和準確性，這一算法還能在訓練器完成各種實驗時，進行遷移學習。主要通過知識提取和參數分配兩種方法。

通過知識提取，新模型可以從高性能模型中借鑒損失函數，提高自身準確性；而通過參數分配，新模型采用之前訓練模型中的部分參數，并初始化剩余的參數，就能訓練得更快。

在逐漸迭代的過程中，最好的模型就被“搜索”出來了。

谷歌表示，“模型搜索”是個具有自適應性、貪婪性、而且比強化學習算法收斂速度更快的算法。

這個算法，目前具有如下功能：

可以在數據上運行多個AutoML算法，可以自動搜索合適的模型結構、模型融合方法，并選擇最佳模型。

可以比較在搜索時發現的不同模型；

可以自行設計特殊的神經網絡層并應用。

目前，“模型搜索”支持Tensorflow框架。

也就是說，各模塊都能實現任何以張量為輸入的函數。

比人類設計得好，比PNAS更高效

經過實驗，“模型搜索”平臺搞出來的AI模型，確實還不錯。

作者們用“模型搜索”平臺，試著寫了個語音AI模型，主要功能是關鍵字檢測和語言識別。

下圖中，實線是AI寫出來的模型迭代精度，虛線則是此前人工設計出的SOTA模型。

顯然，無論是最小迭代次數、還是最后的迭代精度，“模型搜索”平臺用AI寫出的模型，都比人工設計的要好得多。

也就是說，設計所用的參數量更少了（相比于人工設計的31.5萬，AI只需要18.4萬），精度反而還上升了。

那么，這個“模型搜索”框架的搜索效果，相比于其他用AI寫AI模型的搜索算法，哪個效果更好？

作者們用CIFAR-10數據集試了試圖像分類模型。

測試發現，用AutoML嘗試寫了209個模型后，最好的模型就已經達到了91.83%的精確度。

而此前，NasNet需要嘗試5807次、PNAS需要嘗試1160次，才能達到相同的精度。

也就是說，用這個平臺設計的AI模型，不僅能達到在某些領域達到比人類設計更好的效果，還比其他“AI設計師”速度更快。

不想辛苦調參的話，這絕對是個非常理想的模型設計平臺了。

不包含全部AutoML算法

所以，谷歌當真就把自己之前的收費項目開源了？

不不不。

更高級的AutoML算法，目前還是要收費的。

這是個名為AutoML Tables的項目，無需寫代碼，它就能幫你自動構建和部署最先進的機器學習模型。

而性能最優的AutoML算法，目前都包含在這里面了。

目前，谷歌已經將AutoML、MLOps、AI Platform整合到一起，成為了一個更大的AI Platform平臺。

當然，也是要付費的。

也就是說，目前開源的這個“模型搜索”平臺，只包含一部分AutoML算法。

作者介紹

Hanna Mazzawi，谷歌研究工程師，研究方向是機器學習、算法設計和分析、數學軟件。

Xavi Gonzalvo，碩博均畢業于西班牙拉蒙尤以大學（Ramon Llull University），目前在谷歌任研究科學家，從事機器智能相關的工作。

如果想快速寫出需要的AI模型，可以上手這個項目了~

項目地址：

https://github.com/google/model_search

參考鏈接：

https://cloud.google.com/automl-tables

https://ai.googleblog.com/2021/02/introducing-model-search-open-source.html

（聲明：本文僅代表作者觀點，不代表新浪網立場。）