專題：第二十五屆北大光華新年論壇

　　2024年1月7日，第二十五屆北大光華新年論壇在北京大學百周年紀念講堂舉行，本屆論壇的主題為“增長動能 中國探索”。中國科學院自動化研究所人工智能倫理與治理中心主任、聯合國人工智能高層顧問機構專家曾毅出席論壇并發表題為《從科學與社會視角推進新一代生成式人工智能的發展與治理》的演講。

　　曾毅在演講中表示，未來需要推進新一代生成式人工智能的科學突破，目前并沒有真正意義的通用人工智能的存在，在有效理解、識別和劃分任務方面，尚存在本質性的問題瓶頸。他表示，基于現在人工智能的現狀，特別是風險安全倫理方面的發展捉襟見肘，不必使人工智能無所不在，而應在發展中秉持智能向善的理念，負責任的穩健發展和適度的使用，才能夠使人工智能揚帆遠航。生成式人工智能未來的發展應當聚焦于：從數據驅動的人工智能發展到自然機制驅動的人工智能，從合乎倫理到擁有道德，從人工智能與人類價值觀對齊，到人與人工智能的價值協調。

　　以下為發言實錄：

　　當代生成式人工智能是工程技術的組合創新，以及在用戶體驗方面帶來了前所未有的顯著提升，但它確實尚未形成本質性的科學突破。因為當代生成式人工智能最基本的思想是人工智能領域幾十年前奠定的，真正在科學上的突破并不是這幾年，當代生成式人工智能憧憬的通用人工智能的科學突破也還尚未到來。面向未來，應當在科學與社會角度來審視和推進生成式人工智能的發展。從科學角度講，未來需要推進科學意義上的新一代生成式人工智能。從社會角度講，生成式人工智能未來發展為基礎設施的重要組成部分，推進社會發展，那么傳統的人工智能研發者就需要加強社會維度的認知。

　　我舉例說明，通過文字交互，何謂和諧共生？ChatGPT給出的答案確實是更新了我們傳統意義的和諧共生。用它生成的和諧共生的畫作看起來也確實抓住了和諧共生的意義，但是當對比文字和圖像的時候有一個非常有趣的現象，文字生成的結果并沒有缺乏人的因素，但圖像生成的結果中并沒有人的存在，這不禁引發我們更深入的思考。從這樣的案例可以看出我們已經可以受益于技術的進步。

　　然而另外一方面，實際上它還并未形成真正的理解。很多人說生成式人工智能確實有理解，如果沒有理解怎么能夠做生成的任務，所以我再舉一個例子。我們不是所有的場景下都需要生成。大家記得，當最開始生成式人工智能在互聯網上為大家提供服務時，用它去查閱參考文獻，它給出的參考文獻沒有一篇是真實存在的，因為輸出的所有參考文獻的名字都是生成的。在這種情況下，一個生成式人工智能并不能夠區分何時不需要生成，這個實際上就是看似智能的信息處理工具實則并不擁有真正的智能所存在的問題。

　　比如說回到和諧共生的例子，如果現在問題變成“生成一張包含和諧共生四個字的楷書作品”，結果卻看到，不管是英文的生成式人工智能，還是來自中國的生成式人工智能服務，都沒有去抓住需求背后真正的意義。生成出的哪一幅圖上都沒有“和諧共生”四個字當中的任何一個字，甚至沒有可識別出的文字，所以這就是為什么說目前缺乏理解的生成式人工智能，尚需有效理解、識別和劃分任務。

　　當代數據驅動的人工智能是輸入的數據對應預期的輸出，可以發現一種數學優化方法和模型來從數據輸入擬合到期望的輸出。生成式人工智能系統所期待的給定任務理想化地認為應該是個完全生成的任務，但是真實世界中實際的需求不是這樣的。所以人工智能的生成式模型不等于是人工智能的基礎模型，而基礎模型也不僅僅提供生成式的能力，在很多時候它首先要去區分和劃分什么樣的任務需要生成，什么樣的任務不用生成或進行受限的生成，而從人工智能來看，我們不需要生成的這種判別式的人工智能，還只是人工智能可能輸出的一種，可能還有很多其他類型。必須講到生成式人工智能確實并非通用人工智能的雛形，它更非人工智能的基礎模型。所以面向通用人工智能的人工智能基礎模型，確實需要能夠自主地、有效地識別、理解、劃分和解決任務。

　　人工智能誕生之初有關通用問題求解器的研究就指出：一切的問題都能夠被形式化為邏輯的話，通用問題求解器可以解決世界上所有的問題。但實際上，將一個問題自主的描述劃分為一個可解的問題，在這一部分的進展，60年以來人工智能領域沒有任何實質性進展。

　　所以基于現在的人工智能的現狀，我們確實不必使人工智能無所不在。人工智能的確存在可能的風險，但是發展當中我們應當秉持智能向善的理念、負責任穩健的發展和適度的使用，才能夠使人工智能揚帆遠航。

　　什么叫做智能向善，我希望能給大家一些感性的認識。我們研發了類腦生成式人工智能基座“心擎（Mind Engine）”，并在此基礎上從不同視角支持“智能向善”理念的實踐。第一個例子是數字哲學家。哲學回答人生當中切要問題并給予我們思考的力量，數字哲學家構造了類腦生成式人工智能引擎向這些哲學家去學習，就可以受益于先哲們的智慧，助力我們認識這個世界并與這個世界更好地相處。我們也需負責任地指出這樣的AI并不能夠被稱為是這些先哲的數字版，雖然它可以很有用，它仍然是看似智能的信息處理工具。

　　再比如，我們基于類腦生成式人工智能基座“心擎”構建的心靈對話的平臺“心友”。當你心情不好的時候，它用積極心理學去引導你。當你覺得未來無限大好的時候，它也會提醒你人生過程當中可能還會遇到各種各樣的挑戰，為每一個人創建“心靈之友”。

　　生成式人工智能可以幫助我們更好的認知我們的世界和我們的關系，比如說人類和生態、人類和所有的動物和植物之間的關系。我們融合了不同人工智能技術構建的人與生態的“共生圖”就呈現和分析了人類和所有的動植物之間的關系。例如看似螞蟻與人類相比關系網絡相對簡單，但是地球上人類和螞蟻的數量比例卻是1：100萬，但是當我們問生成式人工智能，螞蟻和人類之間的關系是什么的時候。我們的搜索和摘要引擎告訴我們“世界上有若干種不同吃螞蟻的方式”，只有一句話寫到“螞蟻合作的模式是人類合作的典范”。當我們用生成式人工智能來描述它們之間關系的時候，總結的結論就是人類和螞蟻并不能夠很好的相處。看到這樣的生成式人工智能輸出的時候，我還是感覺到非常沮喪，并希望這樣的努力能賦予人類更多的啟示和反思。倘若未來超級智能視人類如同人類視螞蟻，我們是否會從這個觀察與反思以及我們對人類現代行為的分析中獲得些什么呢？

　　人工智能還可以賦能我們的文化交互，在很多國際交流當中經常被問到一個問題：我們跟你們是如此的不同，我們仍然希望跟你合作。我從來是從第一句話就打斷，我非常想知道為什么中國的學者跟你們有如此的不同。人工智能可以用來彌合文化之間誤解并促進交流，正是在這個背景下我萌生了創造文化交互引擎這個項目與服務的想法。聯合國教科文組織遴選的自然和文化遺產，本來突出的是各個國家遺產相對來說都有各自的特征以區分于其他的自然和文化的遺產，形成對人類文明獨特地勾勒。然而這些自然和文化遺產真的只是具有獨特性而背后缺乏相關性嗎？我們用生成式人工智能的技術可以去發現它們之間的相似點，以及它們的相異點。在它們的相似點上，將所有全球的文化關聯在一起，但部分的相異點是我們可以進行文化互鑒的機遇。

　　現在生成式人工智能確實是不完美的，現階段我們先針對基于傳統生成式人工智能大模型做好合乎倫理的研究與服務，從一個看似智能信息處理的工具開始，再同步布局新一代人工智能，使它能真正的有道德，從合乎倫理的人工智能發展到具有道德的人工智能。

　　比如說我們的善智人工智能倫理安全平臺體系中“智善·如流”平臺用人類和生成式人工智能協作的方式生成數千種不同的場景，然后再讓人類和生成式人工智能共同去判斷場景中的行為是否道德。可以發現即使現在最強大的生成式人工智能，如果以GPT4來舉例，它在倫理道德的輸出方面與人類的相近程度，用相似度來匹配的話只有0.64，最強大的大模型跟人類的價值觀的差異仍然是非常大的。而且任何一個生成式大模型在倫理道德，價值觀的表現方面相當的不穩定的。說的是同一件事情，只要描述方式稍微變一下，它的輸出道德的價值判斷甚至可以是顛覆性的，這是人不會出現的問題。所以這些看似智能的信息處理工具用人類反饋的強化學習這種方式即使給它做了倫理道德框架，也尚未避免看似并不復雜的問題。

　　未來的生成式人工智能不一定會停留在看似智能的信息處理的工具上，但是如果想讓它獲得道德，而不僅僅是用規則的方式讓它合乎倫理，現在所謂的基于人類反饋的強化學習是完全不夠的。人類在進行基于道德的問題求解的時候，道德框架是在外部的，而不是在一個問題求解器上打補丁，所以這樣的方式本質上就構成了合乎倫理和具有道德之間在計算原理的本質上的差別。人類獲得獲得道德的方式首先是基于生物的自我感知、區分自我和他人，有了心理揣測能力和情感共情能力，產生利他并最終形成道德直覺，在此基礎上進行道德推理與決策。

　　但是我們現在的生成式人工智能不是這樣的，因為你在希望其形成合乎倫理的信息處理，這對于它來說只是讓他執行了一個無異于其他分類任務的任務。當采用人類反饋的強化學習，生成式人工智能做一個錯誤的決定你可以懲罰它，但是也可以有另外十個人同時給它獎勵。如果你是一個善人，你去懲罰它，如果給它獎勵的另外十個人是惡人的話，生成式人工智能的輸出就會跟我們所預期的截然相反。

　　我們希望未來的生成式人工智能是基于這樣智能的本質發展出來的，是真正區分于現在通過規則合乎倫理，到從基于自我發展出來的道德直覺，讓它具有道德。

　　最后，我認為面對長遠的超級智能、人類災難性的風險、生存風險的隱患，確實需要我們從現在開始做準備。但是，人工智能與人類價值對齊這件事情在未來的超級智能的時代將不成立，因為我們需要的是從價值對齊過渡到人與人工智能價值的協調，協調是雙向的，因為在那個時候當人工智能具備反思能力的時候，智能的水平遠遠超過人類的時候，那么人工智能對于人類也將有價值觀方面的訴求和期待。

　　未來社會可能不是一個以人類為中心的社會，我們現在叫做人類文明，但是相信未來一定是共生文明。人工智能是人類的一面鏡子，現在人工智能還沒有人類強大，但是它卻可以照耀到人內心部分的黑暗和人類社會未來應當發展的方向。大家經常說人工智能比人類演化的快，我們既然知道人類的弊端，在人工智能作為一面鏡子一樣賦予我們反思的時候，人類需要加速反思的過程。超級智能對人類社會產生的風險，人類社會能不能夠更快的進化到共生文明，這個問題如果不從現在開始的話就太晚了。

　　新浪聲明：所有會議實錄均為現場速記整理，未經演講者審閱，新浪網登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：王翔