·OpenAI對抗AI“幻覺”的新策略是：獎勵大模型每個正確的推理步驟，而不是簡單地獎勵正確的最終答案。研究人員表示，這種方法被稱為“過程監督”，而不是“結果監督”。

? OpenAI在官方博客發布新論文《通過過程監督改進數學推理》。

當地時間5月31日，OpenAI宣布正在承擔起對抗人工智能“幻覺”的重任，并采用了一種訓練人工智能模型的新方法。

當OpenAI開發的ChatGPT或谷歌開發的Bard等模型完全捏造信息時，就被稱為出現了AI?“幻覺（hallucination）”，表現得好像它們在滔滔不絕地講述事實。其中一個例子是：在谷歌2月為Bard發布的宣傳視頻中，聊天機器人對詹姆斯·韋伯太空望遠鏡做出了不實的描述。最近，ChatGPT在紐約聯邦法院的一份文件中引用了虛假案件，涉案的紐約律師可能面臨懲罰。

現在，OpenAI在一項最新研究中提出了減輕ChatGPT“幻覺”、實現更好對齊的新方法——通過“過程監督”來提高AI大模型的數學推理能力。

OpenAI研究人員在報告中寫道：“即使是最先進的模型也容易產生虛假信息——它們表現出在不確定的時刻編造事實的傾向。”?“這些幻覺在需要多步推理的領域尤其成問題，因為一個邏輯錯誤就足以破壞更大的解決方案。”

OpenAI對抗AI“幻覺”的新策略是：獎勵每個正確的推理步驟，而不是簡單地獎勵正確的最終答案。研究人員表示，這種方法被稱為“過程監督”，而不是“結果監督”。

這種策略可能還會導致更具解釋性的AI，因為它鼓勵模型更多地遵循類似人類的“思維”方法鏈。除了得到高于“結果監督”的性能表現外，“過程監督”或許也有助于解決對齊難題。

目前，OpenAI的研究人員尚不清楚這些結果能否應用在數學領域之外，但他們認為，探索“過程監督”在其他領域中的影響將至關重要。

OpenAI的研究員卡爾·科布（Karl Cobbe）告訴CNBC：“檢測和減輕模型的邏輯錯誤或幻覺是構建一致的AGI（通用人工智能）的關鍵一步。”他指出，OpenAI雖然并未發明“過程監督”方法，但正在幫助推動它向前發展。?“這項研究背后的動機是解決幻覺問題，以使模型更有能力解決具有挑戰性的推理問題。”

科布說，OpenAI已經發布了一個附帶的數據集，其中包含80萬個人類標簽，用于訓練研究論文中提到的模型。

美國電子隱私信息中心（Electronic Privacy Information Center）高級顧問兼人工智能和人權項目負責人本·溫特斯（Ben Winters）表示懷疑，他告訴CNBC，希望能檢查完整的數據集和隨附的示例。“我認為僅此一項并不能顯著減輕對錯誤信息和不正確結果的擔憂。”溫特斯說。

由于不清楚OpenAI論文是否經過同行評審或以其他格式進行評審，布朗大學技術責任中心主任蘇雷什·文卡塔蘇巴拉馬尼安（Suresh Venkatasubramanian）告訴CNBC，他認為這項研究只是初步觀察。“在我們可以對此發表任何肯定之前，這需要在研究界得到證實。”?“由于大型語言模型的工作方式總體上不穩定，在一種設置、模型和上下文中可能有效的東西，在另一種設置、模型和上下文中可能不起作用。”

文卡塔蘇巴拉馬尼安補充說：“人們一直擔心的一些幻覺是（模型）編造引用和參考。本文中沒有證據表明這會起作用。”

科布表示，OpenAI“可能會將（論文）提交給未來的會議進行同行評審。”?OpenAI沒有回應該公司計劃何時將新策略實施到ChatGPT及其其他產品中。

（原標題：《對付AI虛假信息！OpenAI稱找到新方法減輕大模型“幻覺”》）