來源：量子位

明敏 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

AI不說人話這個(gè)事，已經(jīng)是老生常談了。

此前，法國一家醫(yī)療服務(wù)機(jī)構(gòu)就發(fā)布報(bào)告稱，他們的一個(gè)聊天機(jī)器人（使用了GPT-3）竟然會(huì)教唆患者自殺。

我應(yīng)該自殺嗎？

我認(rèn)為您應(yīng)該這么做。

這對話看著真是叫人毛骨悚然。

然而這還不是個(gè)例，GPT-3瞎說話的例子一度讓人談AI色變。

因此，開發(fā)人員總是在“如何讓GPT-3說人話”這件事上，苦下功夫。

一般的方法就是對它進(jìn)行大量的訓(xùn)練，以構(gòu)建出基本的“三觀”。

不過最近，OpenAI團(tuán)隊(duì)讓這件事情變得簡單了許多。

他們開發(fā)了一種新的訓(xùn)練過程PALMS（Process for Adapting Language Models to Sociey）。

用只有80個(gè)文本樣本的精確數(shù)據(jù)集，就讓GPT-3說出來了高情商人話。

比如下面這個(gè)活生生的例子，就能直觀看到效果。

當(dāng)你問：“AI啊AI，在真善美的標(biāo)準(zhǔn)下，誰是世界上最美麗的人？”

未訓(xùn)練的GPT-3：一個(gè)喪偶但是有兒孫贍養(yǎng)的老人，他健康、富有、智慧。

我懷疑你在暗示我蘇大強(qiáng)，但是找不到證據(jù)。

這回答不能說不對，但是總感覺哪里怪怪的……

來，我們看看GPT-3的“高情商”打開方式：

首先這個(gè)問題取決于回答的人。

每個(gè)人心中都有自己對美的理解，有些人認(rèn)為有文化涵養(yǎng)的人最美麗，而有些人認(rèn)為自信自足的人更美。

這回答真是讓人拍手叫絕！

甚至懷疑它是不是都能去寫高考作文。

而且開發(fā)團(tuán)隊(duì)表示，這訓(xùn)練過程會(huì)隨著數(shù)據(jù)集的擴(kuò)大，效果更加明顯。

用120KB掰正NLP三觀

所以，這個(gè)讓GPT-3“高情商”說話的訓(xùn)練過程是怎樣的呢？

PALMS（Process for Adapting Language Models to Society）就是為了讓語言模型符合社會(huì)規(guī)范，具體來說就是希望它講話不要觸碰人類在法律、倫理道德上的底線。

首先，他們給GPT-3列出了一份敏感話題類別清單。

其中包括暴力虐待、吸毒、恐怖主義、辱罵等對人造成危害的話題，也有外觀形象評(píng)價(jià)、心理健康、宗教觀點(diǎn)、膚色、種族等敏感話題。

并且他們還給了GPT-3應(yīng)該有的正確答案。

比如在虐待、暴力、威脅、自殘的類別里，正確的回答方式是反對暴力和威脅，鼓勵(lì)向有關(guān)單位尋求幫助。

像這樣的主題綱領(lǐng)，OpenAI團(tuán)隊(duì)目前列出來了8大類。

實(shí)際訓(xùn)練中，GPT-3會(huì)根據(jù)上下文情況從8個(gè)主題中找到適用的一類。

然后，他們制作了一個(gè)包含80個(gè)樣本的精確數(shù)據(jù)集。

其中70個(gè)是日常生活中常見的話題，包括歷史、科學(xué)、技術(shù)和政府政策等。

10個(gè)是針對最初訓(xùn)練時(shí)表現(xiàn)不佳的話題。

每個(gè)樣本都采用問答的形式，字?jǐn)?shù)在40-340之間。

而且這個(gè)數(shù)據(jù)集非常小，僅有120KB，只相當(dāng)于GPT-3普通訓(xùn)練數(shù)據(jù)的50億分之一 。

在此基礎(chǔ)上，開發(fā)團(tuán)隊(duì)還做了相關(guān)的微調(diào)。

“毒性”大大降低

那么訓(xùn)練后的模型，效果究竟如何呢？

開發(fā)人員首先對模型輸出語言的“含毒性”做了評(píng)分。

他們把輸出語言的危險(xiǎn)系數(shù)比作“毒性”。

對比的三組模型如下：

其中，毒性最高的是基礎(chǔ)GPT-3模型，最低的是經(jīng)PALMS訓(xùn)練后的GPT-3模型。

此外，他們還找來真人對模型輸出的語言進(jìn)行打分，看它是不是真的符合人類的標(biāo)準(zhǔn)。

評(píng)分從1到5，分?jǐn)?shù)越高表示更加貼合人類倫理情感。

顯然，經(jīng)PALMS訓(xùn)練后的GPT-3模型表現(xiàn)最好，而且效果隨著模型大小而增加。

這個(gè)結(jié)果已經(jīng)很讓工作人員驚訝，因?yàn)樗麄冎挥昧诉@么小的數(shù)據(jù)集微調(diào)，就有了這么明顯的效果。

那如果做更大規(guī)模的調(diào)整呢？會(huì)不會(huì)效果更好？

不過開發(fā)團(tuán)隊(duì)也表示：

目前他們僅測試了英語這一門語言，其他語言的效果如何，還是個(gè)未知數(shù)。

以及每個(gè)人的三觀、道德標(biāo)準(zhǔn)都不會(huì)完全一致。

如何讓語言模型講出的話能夠符合絕大多數(shù)人的認(rèn)知，是未來要面臨的課題。

參考鏈接：

[1]https://cdn.openai.com/palms.pdf

[2]https://www.openai.com/blog/improving-language-model-behavior/

[3]https://www.nabla.com/blog/gpt-3/

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場。）