GPT-3模型是一種自動生成文本程序，擁有破天荒的1750億參數(shù)，它不僅可以用于寫「論文」，也可以應(yīng)用于「自動生成代碼」，自今年5月發(fā)布以來，被業(yè)界視為最強(qiáng)大的人工智能語言模型。?

在GPT-3公開發(fā)布后的大約三個(gè)月時(shí)間里，它一直是AI屆關(guān)注的焦點(diǎn)。自從近期API開放以后，GPT-3更是「成精」了，可以陪你從詩詞歌賦談到人生哲學(xué)，還可以畫圖表搞運(yùn)維做PPT，真的是無所不能。

不過，被稱為「人工智能教父」的Facebook首席人工智能科學(xué)家Yann LeCun在周二的Facebook帖子中批評了該算法：

他認(rèn)為人們對于GPT-3這種大規(guī)模語言模型具有「不切實(shí)際的期望」。

GPT-3可以打破飛行高度，但「登月」需要完全不同的方法

LeCun表示，他在 Nabla 的朋友做了一項(xiàng)簡單的解釋性研究，打破了那些認(rèn)為大規(guī)模語言模型可以用于醫(yī)療保健方面的期望。

GPT-3是一個(gè)語言模型，意味著可以向它提供一個(gè)文本，并要求它繼續(xù)預(yù)測接下來的單詞。

但GPT-3其實(shí)并不了解世界實(shí)際上是如何運(yùn)作的，它只有一定程度的背景知識，只要這種知識存在于文本的統(tǒng)計(jì)數(shù)據(jù)中即可，但是這種認(rèn)識是非常膚淺的，并且與潛在的現(xiàn)實(shí)世界脫節(jié)。

同時(shí) GPT-3 作為一種問答系統(tǒng)，其性能并不理想，反而是建立大量實(shí)體之間關(guān)系的知識圖譜的效果是更好的。

作為一個(gè)對話系統(tǒng)，GPT-3也不是很好。同樣地，其他被明確訓(xùn)練來與人互動的模型在這方面做得更好。

GPT-3 有時(shí)也很有娛樂性，而且可能作為一種創(chuàng)造性的輔助工具有點(diǎn)用處。

但是LeCun提到說，「試圖通過擴(kuò)大語言模型的規(guī)模來建造智能應(yīng)用，就像建造一架飛往月球的飛機(jī)。你可能會打破高度記錄，但是登上月球其實(shí)需要一種完全不同的方法」。

當(dāng)前的一些方法很有可能成為良好的醫(yī)療應(yīng)用的質(zhì)量保證的基礎(chǔ)，該系統(tǒng)可以對整個(gè)醫(yī)學(xué)文獻(xiàn)進(jìn)行訓(xùn)練，并回答醫(yī)生提出的問題。

但是從文本中匯集大量的醫(yī)學(xué)操作知識仍然是一個(gè)非常重要的研究課題。

LeCun 引用了醫(yī)療AI公司 Nabla 的一項(xiàng)最近的實(shí)驗(yàn)，該實(shí)驗(yàn)發(fā)現(xiàn)GPT-3完全不足以在醫(yī)療環(huán)境中使用，因?yàn)镚PT-3 編寫出來連貫的句子與其推理或理解的意思不同。

在各種醫(yī)療場景中使用GPT-3進(jìn)行測試后，Nabla 發(fā)現(xiàn)GPT-3能夠形成連貫的句子與實(shí)際有用的句子之間存在巨大差異。

在某種情況下，GPT-3 無法將醫(yī)療費(fèi)用中的物品費(fèi)用相加，并且在一些極為危險(xiǎn)的情況下，GPT-3的結(jié)果實(shí)際上建議模擬患者殺死他們自己。

不止是LeCun，馬庫斯也「噴」過GPT-3

馬庫斯也不是第一次「噴」GPT-3了。

就在幾個(gè)月前，馬庫斯就發(fā)表過對GPT-3的見解，他認(rèn)為，GPT-3壓根不了解它所談?wù)摰氖澜纾?font cms-style="font-L strong-Bold">you know nothing, GPT-3....?」

進(jìn)一步增加語料庫只能讓它產(chǎn)生那些看起來更可信的七拼八湊的話語，但無法彌補(bǔ)其對世界根本性理解的缺失。將來出了GPT-4，也還是會需要人工干預(yù)和篩選。

言外之意，盡管增加了這么多的參數(shù)，也只是表面上看「懂」得多了許多，但這種「懂」是沒有靈魂和內(nèi)核的，并沒有從本質(zhì)上破解人類世界的奧秘。

起因是其中一個(gè)讀者提到，cherry-picking是一個(gè)巨大的問題，cherry-picking指的是人為的精挑細(xì)選，比如通順有趣的句子。

「大部分GPT-3的樣例都是人工篩選的」。目前的結(jié)果只是把光鮮亮麗的cherry呈現(xiàn)在了眼前，還有一大堆成千上萬的bad case怎么不說。

馬庫斯對GPT-3的「蔑視態(tài)度」，從他的置頂推文中就可以洞見。

GPT-3解決的問題變多了，但只是堆了更多參數(shù)

語言模型的目標(biāo)僅僅是最大化模型在自然語言數(shù)據(jù)上的可能性， GPT-3使用的自回歸意味著它會盡可能地預(yù)測下一個(gè)單詞。

通俗來講，GPT-3更多地關(guān)注語法和拼寫等文本差異，而不是語義和邏輯連貫性，而后者才是智能的關(guān)鍵，當(dāng)自回歸模型接近完美時(shí)，想要繼續(xù)提升，唯一的途徑就是語義理解和邏輯構(gòu)建。

在極端情況下，任何一個(gè)模型，如果其損失達(dá)到自然語言的香農(nóng)熵，就會在任何方面與真正的人類作品完全無法區(qū)分，而且我們越接近它，損失的改善對質(zhì)量的影響就越不容易察覺。

換句話說，使用馬爾可夫鏈將單詞串起來可以讓你完成50% 的任務(wù)，而另外的50%，需要你搞清楚語法、考慮跨段落的主題 ，更重要的是邏輯上保持一致。

GPT-3的重要之處在于，只要不斷增加模型的大小，就可以不斷降低損失，可能直到它達(dá)到文本的香農(nóng)熵。不需要聰明的架構(gòu)或復(fù)雜的手工規(guī)則啟發(fā)，只要把它放大，就可以得到一個(gè)更好的語言模型。

但是，如果這種語言模型隱藏在 GPT-X 的內(nèi)部，那么我們該如何使用它呢？

可以直接用自然語言問它！它認(rèn)為接下來會發(fā)生什么，給定一系列事件，它就能給出一個(gè)很好的答案。

不過也有reddit網(wǎng)友說，「各種各樣的實(shí)驗(yàn)表明 GPT-3在世界建模中經(jīng)常失敗，雖然解決的問題變多了，但也只是添加了更多的參數(shù)而已 」。

你對于GPT-3是什么態(tài)度呢，在留言區(qū)討論一下吧！

參考鏈接：

https://futurism.com/the-byte/godfather-ai-trashed-gpt3

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場。）