來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

在大規(guī)模圖像識(shí)別任務(wù)上，DeepMind的新方法火了。

不僅拿到了SOTA，訓(xùn)練速度還提升了8.7倍之多！

方法關(guān)鍵：去“批處理歸一化”

對(duì)于大多數(shù)圖像識(shí)別模型來(lái)說(shuō)，批處理歸一化（batch normalization）是非常重要的組成部分。

但與此同時(shí)，這樣的方式也存在一定的局限性，那就是它存在許多并不重要的特征。

雖然近期的一些研究在沒(méi)有歸一化的情況下，成功訓(xùn)練了深度ResNet，但這些模型與最佳批處理歸一化網(wǎng)絡(luò)的測(cè)試精度不相匹配。

而這便是DeepMind此次研究所要解決的問(wèn)題——提出了一種自適應(yīng)梯度剪裁（AGC） 技術(shù)。

具體而言，這是一種叫做Normalizer-Free ResNet（NFNet）的新網(wǎng)絡(luò)。

整體來(lái)看，NFNet的整體結(jié)構(gòu)如上圖所示。

以有無(wú)“transition塊”來(lái)劃分，可以再細(xì)分為2種情況。

其中，它們的bottleneck ratio均設(shè)置為0.5，且在3 x 3的卷積中，無(wú)論信道的數(shù)量為多少，組寬都固定為128。

二者的區(qū)別在于skip path接收信號(hào)的方式，左側(cè)的是在用β進(jìn)行variance downscaling和縮放非線(xiàn)性之后；而右側(cè)則是在用β進(jìn)行variance downscaling之前完成。

實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)部分，DeepMind的研究人員，采用了與NFNet相關(guān)的7個(gè)模型做了對(duì)比實(shí)驗(yàn)，分別是NFNet-F0至NFNet-F6。

不難看出，在各個(gè)模型的對(duì)比過(guò)程中，在Top-1精度方面均取得了最好結(jié)果。

值得一提的是，與EfficientNet-B7相比，訓(xùn)練速度方面提升了8.7倍之多。

此外，在對(duì)3億張標(biāo)記圖像進(jìn)行大規(guī)模預(yù)訓(xùn)練后，在ImageNet上還取得了89.2%的Top-1精度。

最后，對(duì)于這項(xiàng)研究的代碼，也已在GitHub上開(kāi)源。

傳送門(mén)

論文地址：

https://arxiv.org/abs/2102.06171

代碼地址：

https://github.com/deepmind/

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場(chǎng)。）