來源：硅星人

文｜杜晨? ? 編輯｜Vicky Xiao

近日，人工智能頂級學術會議 NeurIPS 2020，因為疫情的影響，在網絡上正式召開。

大會組委會公布了參會者和全球AI研究者、實踐者最為期待的獎項名單，結果也在意料之中：科研勁旅 OpenAI 提交的超強生成模型 GPT-3 論文（和另外兩篇論文一起）斬獲本屆 NeurIPS 最佳論文獎！

這篇論文標題為?Language Models are Few-Shot Learners, 意即語言模型也可以成為小樣本學習的利器。(arXiv:2005.14165)

OpenAI 研發多年的 GPT 語言生成模型迭代到第三代后，不僅能夠生成各種格式（如新聞、小說、對話等）以假亂真的文本內容，還獲得了十分強大并且多樣的新能力，包括并不限于翻譯、問答、算數等。

不僅如此，OpenAI 還前所未有地將 GPT-3 開發成了一個服務，提供了可以調用的 OpenAI API，并少量提供給包括學術機構、商業公司和個人開發者在內的公眾進行測試。

在今年早些時候的一篇文章中，我們著重介紹這些拿到 OpenAI API?體驗資格的人士，在 GPT-3 強大能力的加持下做出的很多有趣的 demo.?

比如，有人利用 GPT-3 的翻譯能力，開發出了英語→LaTeX 數學公式的翻譯器：

還可以用自然語言進行描述，十秒鐘生成一個Google 首頁：

如果把 GPT-3 放到谷歌表格里，做成一個可以調用的函數，它將無所不能，可以自動查找美國各州的人口，還能查詢知名人物的社交網絡賬號：

個人開發者 Kevin Lacker 對 GPT-3 做了一次圖靈測試，發現它在絕大部分知識類、常識類、邏輯類的問題，甚至很多角度十分刁鉆的問題上，表現非常令人驚訝。“如果十年前用同樣的問題做測試，我會認為答題者一定是人。現在，我們不能再以為 AI 回答不了常識性的問題了。” Lacker 在他的博客文章里寫道。

GPT-3 取得這樣的能力也有著巨大的代價，也恐怕只有財力雄厚的 OpenAI 能夠支持：它的訓練過程使用了超過1750億參數，是其它已知的非稀疏語言模型的十倍。

NeurIPS 2020 組委會在評語中寫道：當語言模型的參數提升到如此前所未有的規模時，它能夠成為小樣本學習模型，而且竟然還可以在無需額外訓練的基礎上，在很多任務上取得非常有競爭力的成績。

對于這篇論文在人工智能研究之于社會影響方面的探討，組委會也是贊不絕口。評語寫道：這篇論文對于其研究更廣泛的影響也進行了非常深入和有深思熟慮的闡述，對于整個 NeurIPS 社區在思考科研對于真實世界的影響提供了一份范例。

NeurIPS 2020 組委會甚至有點預告 GPT-3 在十年后很有可能獲得時間檢驗獎（Test of Time Award, 地位等于其它學術會議的經典論文獎）的意思。它的評語是這樣寫的：（GPT-3取得的）結果非常令人驚訝，將會在相關領域內造成深遠的影響，并且有可能經受住時間的考驗。

另外兩篇最佳論文獎得主：

No-Regret Learning Dynamics for Extensive-Form Corellated Equilibrium. （arXiv:2004.00603)

這篇米蘭理工大學和卡內基梅隆大學研究者的機器學習論文，解決的是一個對于現實世界特別有意義的問題：如何在社會活動中更好地找到均衡。更準確來說，這種均衡叫做“相關均衡”(correlated equilibrium)，比人們更經常聽說的“納什均衡”對于社會更有幫助，而且用機器學習的方式更容易計算出來。

而這篇論文提出的結果，解決了博弈論、計算機科學和經濟學交界的一個長期存在的問題，對于諸如導航軟件路線規劃等涉及到博弈論的應用場景，都會有很大的幫助。

Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystr?m Method. (arXiv:2002.09073)

在機器學習的過程中，數據總結是一項重要的工作，但在過去很長時間以來，人們往往認為從越來越大的數據集中提取小且又代表性的子集作為數據總結，是一件很難的事情。而這篇來自UC伯克利的論文指出更優秀的數據總結方法是存在的，對于機器學習研究者可以說是期待已久的福音。

NeurIPS 2020 時間檢驗獎：

HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent?(arXiv:1106.5730)

梯度下降是機器學習范疇內的和新方法，而隨機梯度下降 (stochastic gradient descent) 是機器學習的關鍵算法之一。為了優化機器學習模型，以前的研究者需要并行運行隨機梯度下降算法，但當時同行提出的一些方法都對于性能有明顯影響。

由華人第一作者 Feng Niu 等人在 NIPS 2011 上發表這篇論文，提出了一種全新的并行運行隨機梯度下降的 HOGWILD!: 方法，在同行方法上有較大的創新，對于機器學習訓練的優化帶來了很大的幫助，顯著影響了后來的機器學習研究。

通過比較歷史引用、近期引用數量，以及召集本屆組委會的高級專家投票，Feng Niu 等人的這篇論文，從2009-2011年的12篇 NIPS 論文中脫穎而出，獲得了今年 NeurIPS 的時間檢驗獎。

（聲明：本文僅代表作者觀點，不代表新浪網立場。）