歡迎關注“新浪科技”的微信訂閱號:techsina
來源:新智元
【新智元導讀】時下爆火的ChatGPT,被網友們用來生成海量答案。而Stack Overflow已經不堪其擾,發(fā)起“追殺”:應封盡封!
OpenAI的新模型ChatGPT才誕生沒幾天,已經成為廣大網友的“裝逼利器”。
它的回答不說正確不正確,乍一看可是碉堡了。
再加上生成起來格外方便,一時間這些“看起來不錯”的回答就如同潮水般涌向了那個帶著全世界代碼跑的傳奇問答網站,計算機學子真正的老師——Stack Overflow。
然而,為了判斷這些答案的對錯,就需要讓大量具有專業(yè)知識的人仔細考察才行。
被逼無奈之下,Stack Overflow不得不急發(fā)聲明:ChatGPT,禁了!
錯誤多得離譜,應封盡封
眼看著討論熱火朝天,作為全世界第二大程序員交友網站的Stack Overflow官方這邊也是態(tài)度鮮明:
不要想著用AI機器人混淆視聽,發(fā)回答就好好發(fā),禁止用ChatGPT直接生成垃圾答案,否則封號。
Stack Overflow在官方通告中表示:這是一個臨時性規(guī)定,目的是為了應對目前論壇上ChatGPT生成內容的泛濫之勢。
通告指出,做出這個規(guī)定的主要原因是,ChatGPT自動生成的答案質量太低,錯誤太多,而且看上去還挺像那么回事,即使是完全不懂的人也能隨便生成答案。
作為一個以問答質量為標桿的社區(qū),這些低質答案會給那些來此尋求幫助的人造成嚴重困擾和不便,對Stack Overflow本身而言也是有害的。
Stack Overflow表示,未來將繼續(xù)權衡圍繞 ChatGPT“和其他類似工具”的新政策,但決定日期以及最終限制的內容尚不清楚。
總之,Stack Overflow這邊的態(tài)度很明確,總結起來就是:“玩歸玩,鬧歸鬧,別拿問答開玩笑”。
網友拍手叫好
而對于這個決定,底下的圍觀群眾有表示完全贊同的。
——干的漂亮!真希望這個決定不是臨時的,而且不僅局限于ChatGPT,應該擴大到所有AI生成的答案??緼I永遠給不出高質量的編程答案,再過100年都沒戲。
——這個禁令不應該是個臨時措施。
使用ChatGPT可以通過瘋狂灌水,自動生成答案來刷分,即使這些答案是否正確他們根本不知道,也不關心,這對Stack Overflow論壇生態(tài)的危害是顯而易見的。
不過,想要識別這類答案實際上并不容易,怎樣保證“應封盡封”是個很大的問題。
很多專業(yè)人士能看出來這種“偽答案”里的錯誤,但能做的也就是點個踩,不能保證這些內容被清理。
禁止這樣的內容是好事,不過審核的人能做什么呢?上面有帖子說,這些AI生成的答案可能看起來像高質量答案,這意味著對于訓練有素的人來說,可能會發(fā)現錯誤而點個踩。
這些AI冒充的用戶的答案可能有一些贊,也有一些踩,因為這些回答看起來像高質量答案。
我不知道如何判斷一個答案是不是ChatGPT生成的,而且現在自定義標記需要幾個月的時間來解決,在及時處理前,這些用戶可能繼續(xù)損害Stack Overflow。
那么,ChatGPT到底泛濫到什么程度了呢?
有網友自己嘗試將提出的問題貼在ChatGPT的對話框中,和后面的一個“真人”給出的答案做了對比,看看到底生成的答案能不能用,結果發(fā)現這個“真人”明顯不對勁。
這是他自己用ChatGPT生成的回答:
這是所謂“真人用戶”給出的回答:
不難看出,兩個答案套路上如出一轍,用語口吻也非常相近,代碼示例上也是幾乎相同。
這分明也是ChatGPT生成的偽答案。目前這個“用戶”已經被Stack Overflow封禁。
其實從ChatGPT的發(fā)布方OpenAI看來,這個AI工具的重要用途之一正是幫助程序員檢查代碼,而作為編碼輔助工具,在Stack Overflow上答答題,本來是ChatGPT的正當用途之一。
沒想到剛出了不到一星期,就被無情封禁。也不知道是怪自己“學藝不精”,給出的答案沒有幫助,還是怪網友太狡猾,最終不堪重負被玩壞了。
有媒體聯系了OpenAI,問其計劃如何處理這些自動生成答案的準確性問題,目前還沒有收到回復。
Stack Overflow還不能被取代
作為一名開發(fā)者,你肯定知道這個讓億萬公司的程序能夠跑起來,讓億萬計算機學子能夠拿到畢業(yè)證的Stack Overflow。
在這里,你可以找到實現某些功能的最佳實踐,或者找到那個只有在月圓之夜的凌晨4點才發(fā)生的晦澀難懂的錯誤的解決方案。
不過,在2021年被Prosus以18億美元的價格收購之后,大家曾普遍在擔心是不是也要開啟付費VIP模式。而那一天的到來大概會是程序員們的“末日”。
好在,到目前為止,Stack Overflow的用戶體驗依然是極好的。
至于OpenAI的ChatGPT,它不僅可以回答任何領域的問題,而且每一次的答案都非常精確和詳細。
比如,當你問到“How to iterate over an keys and values array in Javascript”時,這就是答案:
錦上添花的是,ChatGPT還能通過一個支持性的例子和解釋,告訴你這個JavaScript中常見問題的最佳的解決方案:
那么問題來了,既然ChatGPT可以在輸入問題的幾秒鐘內給出答案,并且還提供了可以直接復制的代碼,為何我們不系統(tǒng)性地去使用它呢?
因為,ChatGPT有三個“致命”的缺陷:
1. 輸入不能有錯
在使用ChatGPT時,必須要精確,哪怕是一個代詞(a/an)的改變,答案都會完全不同。
比如,之前的那個問題“How to iterate over an keys and values array in Javascript”,這次我們去掉一個“an”,變成“How to iterate over keys and values array in Javascript”
現在ChatGPT給出的解決方案,就只對由統(tǒng)一的元素列表組成的簡單數組有效了。
2. 解釋不人性化
比如接下來這個Stack Overflow上投票最多的問題:
“為什么對已排序數組的操作比對未排序數組的操作快?”
ChatGPT給出的答案,毫無疑問是正確的,但僅此而已。
因為,如果你能理解這個答案的話,自然也不需要問這個問題。
而如果你需要問這個問題,也就意味著你不太能看懂ChatGPT給出的回答……
相比而言,Stack Overflow上的答主首先會用非技術性的術語提出了一般的背景,然后逐漸將主題拉回到最初和最后的問題上,以加深思考。
當然,不是所有Stack OverFlow上的答案都是(也不需要)如此定性和詳細的。
但這個例子充分地說明了,人與AI大的區(qū)別是,后者無法確定對方的理解水平,從而調整回答。
簡單來說就是,AI會以同樣的方式和術語來解釋“相對論”,不管你是物理系的教授,還是普通大學生,或者對此一竅不通的小白。
這對于AI來說,并不重要。
3. 社區(qū)的作用
不管你喜不喜歡,Stack OverFlow最大的優(yōu)勢是它的社區(qū)。這個平臺的創(chuàng)建和運作方式,就是為了鼓勵和鼓勵最大多數人的貢獻。
而正是這種種類繁多的答案和意見,讓用戶可以通過考慮每個解決方案的優(yōu)點和限制,來確定自己的位置并進行選擇。
此外,Stack OverFlow的另一個優(yōu)勢在于同行驗證。一個被成千上萬的開發(fā)者證明和測試過的解決方案,可以為其正確性提供極大的保證。(當然這并不意味著100%是正確的)
P.S. 用還是可以用的
毋庸置疑,Stack OverFlow永遠不會被取代。它和GitHub,將永遠是解決那些需要個性化解釋或者高難度棘手問題的好去處。
就像Copilot、Intellisense和高級IDE一樣,ChatGPT(即使它不只限于代碼)只是一個工具,在開發(fā)者日益豐富的工具調色板中。就像任何自學模型一樣,它將隨著時間的推移學習和自我糾正并改進。
但是下一次,與其在Stack OverFlow上為相對簡單的問題(如何在Flutter中觸發(fā)HookConsumerWidget的重建)等待幾天,不如直接向ChatGPT提問。
畢竟,你有很大概率能夠得到一個可以用于解決問題的起點:
為什么ChatGPT會犯這么多低級錯誤?
這幾天,全體網友都把ChatGPT玩瘋了。很多人都意識到,這個新AI確實是一個“裝逼利器”——不費吹灰之力,就能給你生成一個牛逼閃閃的答案。
而撥開這層華麗的外衣,仔細看進去,就會發(fā)現它的回答經常錯漏百出。
比如:我在2022年是37歲,那么在1985年的時候,我是幾歲?
ChatGPT:1985-2022=-37,由于年齡不能是負的,所以此題無解。
額,有沒有一種可能,出題人出生于1985年呢?
再比如這位網友問ChatGPT,霍布斯主張三權分立嗎?
ChatGPT自信滿滿地給出了答案,還不忘引經據典。
但是,它的回答是錯的。
霍布斯是專制主義的支持者,在他看來,替代無政府狀態(tài)的唯一可行方案,就是將權力賦予君主。
權力在行政部門和立法部門之間分配、制衡的觀點,是跟霍布斯同時代的哲學家約翰洛克提出的。
那么,為什么ChatGPT會犯這樣的低級錯誤?
很明顯,這是因為在政治哲學中,霍布斯和洛克幾乎總是被一起提及,當ChatGPT去網上找霍布斯的資料時,自然就找到了洛克對三權分立的闡述,然后就錯誤地把這個觀點扣在了霍布斯的頭上??。
從這個例子中,我們也可以看出支撐ChatGPT的GPT-3語言模型的局限——它只能抓取,但無法推理,也無法思考。
所以,這其實是一個概率的東西
最近,很多人都在討論:哪些工作會首先被AI所顛覆?
這是一個懸而未決的問題。但至少我們可以從老師布置的作業(yè)中,得到一絲啟示。
當老師給學生們布置一篇政治哲學論文時,學生的成果對這個世界而言,通常只是對一百萬次已經寫過的東西的反省。
而有趣的是,AIGC的文本并不像一道數學題,它沒有唯一一條通往正確答案的路。
是的,AI的輸出,是概率性的:ChatGPT沒有任何標記了對錯的內部記錄,它其實是一個統(tǒng)計模型,這個模型中,是在不同上下文中的語言組合。
而上下文的基礎,就是GPT-3訓練所用的整體數據集,來自ChatGPT的RLHF訓練的額外上下文,prompt和之前的對話,以及很快就會有的反饋。
這些組合產生的結果,無疑令人興奮。
ChatGPT會運行整個虛擬機,會寫代碼。
當然,ChatGPT并沒有運行python,答案其實是從構成GPT-3的互聯網數據語料庫中收集的概率結果——
ChatGPT在10秒內做出了最結果的最佳猜測,這個猜測很可能是正確的,感覺仿佛就是一臺真正的計算機在執(zhí)行相關的代碼一樣。
這種可能性,足以讓人類驚喜。
雖然對于要求準確性的代碼工作來說,它有不少灰色地帶。
但對于AIGC的其他領域,比如生成文本、圖像,這種多重的可能性無疑幫助人類拓展想象力的邊界。
ChatGPT的商業(yè)模式,推動人工智能的革命
為什么這幾天ChatGPT會爆火呢?
作為底層模型的GPT-3,其實已經誕生兩年了。與之不同的是,ChatGPT既免費,又好用。
閱讀AI輸出的示例是一回事,而自己生成輸出,又是另一回事了。
AIGC的革命早已掀起。當Midjourney使AI生成的藝術變得簡單、免費時,人類對此的興趣和意識也就出現了爆炸式的增長。
ChatGPT是免費的,這很關鍵。
要知道,在OpenAI的API上,最大的限制因素就是成本。
使用OpenAI最強大的語言模型Davinci生成750個單詞,成本為2美分;使用RLHF或其他方法對模型進行微調,也會花很多錢,從微調模型生成750個單詞,需要12美分。
ChatGPT的迷人之處在于,它使得OpenAI變成和MidJourney一樣的消費AI產品領銜者。
Midjourney訂閱的商業(yè)模式,對于在GPU時間方面具有邊際成本的東西,很有意義。
對此,前GitHub的CEO Nat Friedman曾提出這樣一個有趣的觀點:在現實世界,AI的應用程序其實是匱乏的。
現在,研究人員每天都在以飛速的方式向全世界提供著大量新功能,而企業(yè)和產品人員才剛剛開始消化這些新功能。
再往前想一步,當AI在現實世界中不再匱乏的時候,人類是否會被AI取代?
讓我們來看一看AI對這個問題的回答。
(聲明:本文僅代表作者觀點,不代表新浪網立場。)