近日，OpenAI的早期成員和著名AI研究者Andrej Karpathy在No Priors播客中現身，暢聊了他對AI現狀與未來發展，以及自動駕駛、人形機器人等行業的預判。

訪談涵蓋了廣泛的主題，從自動駕駛技術的現狀和未來，到AI研究的最新進展；從大語言模型的發展潛力，到AI在教育領域的革命性應用；從人機融合的可能性，到AI對人類認知和學習方式的深遠影響。Karpathy憑借其在OpenAI、特斯拉等頂尖科技公司的豐富經驗，輸出了獨特而深刻的見解。

Karpathy在訪談中強調，AI不應該是取代人類，而是應該成為賦能人類的工具。他深入探討了AI研究的技術細節，包括Transformer架構的重要性、合成數據的潛力與挑戰、小型高效模型的發展前景等。本期「AI大家說」精選了本次訪談中Karpathy的觀點。

來源：No Priors

01 自動駕駛與人形機器人

Q：人形機器人的第一個落地場景是什么？

Karpathy：很多人可能會想著讓機器人去洗衣服、做家務什么的，但我覺得那會很晚才實現。我不認為B2C是個好起點。

我認為最好的第一批客戶就是公司自己。可以先在工廠里使用它，比如做一些物料搬運的工作。你可以自己先孵化它，然后第二步再去做B2B。你可以去那些有大型倉庫的公司，幫他們處理物料、簽合同、設置圍欄，做所有這些事情。等你在多家公司驗證過后，我覺得那時才能開始進入B2C應用領域。我相信未來我們會看到B2C的機器人出現，比如像宇樹科技推出的產品。可能還會有一些人在這些平臺上建立一個生態系統。總之，最初肯定還是會涉及大量的物料搬運，逐步向更具體的應用發展。

Q：你如何看待現在自動駕駛的能力發展路徑？

Karpathy：我曾在自動駕駛領域花了大約五年的時間。我覺得自動駕駛其實和AGI在某種層面上是相似的，而且我覺得我們在自動駕駛方面已經觸及到了一點AGI——現在一些自動駕駛已經可以做到帶你在某個城市里隨意地逛了。然而，它還沒有實現全球化。

最近自動駕駛有個趨勢，就是向端到端深度學習的轉化，用神經網絡逐步取代整個系統棧。像這樣的端到端系統，在大約10年內，可能就是一個完整的神經網絡了。視頻流輸入神經網絡，最后直接輸出控制指令。這種端到端駕駛，只是模仿人類的行為，用很少的監督數據去訓練一個龐大的神經網絡。對于幾億個參數來說，這種信號太少了。所以，這些中間層表征可以幫助開發各種特征和檢測器，讓端到端部分變得更容易。

Q：人形機器人有什么是可以轉移到自動駕駛的嗎？

Karpathy：其實，我覺得車在自動駕駛中基本上就是個機器人。很多人認為特斯拉只是一家汽車公司，但它其實是一家大規模的機器人公司。規模化本身也是一個完全不同的變量。他們不是在造單一的產品，而是在造可以制造產品的機器，這完全是兩回事。從汽車到人形機器人的轉變其實沒那么難。早期版本的Optimus機器人甚至以為自己是輛車，因為它用的電腦和攝像頭跟車完全一樣。特別有趣的是，我們在機器人上運行的是汽車的算法，而它卻在辦公室里四處移動，試圖識別可駕駛的空間，但實際上它面對的是步行空間。雖然有些細微的調整需要做，但基本上，它在開車的環境里運行，實際上只是在行走。

雖然目前會缺少數據，但其實在智能方面，有很多可以轉移的東西。不僅是具體的神經網絡，還包括整個方法論、團隊，以及所有的協調和大家使用的方法。

Q：你認為相對于未來，現在的機器人技術里缺少了什么關鍵技術？

Karpathy：在人形機器人這種形態中，下半身的控制可能不太適合通過示范來進行模仿學習。因為下半身涉及很多像倒立擺控制這樣復雜的力學問題。而對于上半身，我覺得可能需要更多的遠程操作、數據收集和端到端的處理。

02 AI的現在與未來

Q：你怎么看待數據壁壘以及規模進一步發展的成本問題？

Karpathy：首先我不認為神經網絡架構在從根本上限制我們了。以前Transformer是一種瓶頸，但現在它已經不再是瓶頸了。現在我們更多地在討論的是：使用什么是損失函數？數據集在哪里？這些問題幾乎成為了瓶頸。

這不再是一個基于你想要它變成什么而重新配置的通用組織。這就是為什么許多研究已經轉移到了這個領域。很多公司和其他應用這種技術的企業不再怎么考慮Transformer的架構創新了——它在過去五年里沒有太多革命性的變化，大家現在已經把它視為理所當然，直接使用并進行訓練。現在，大部分的創新都集中在數據集和功能細節的優化上。這是目前行業內活躍的討論和改進領域。

現在，很多工作都在語言模型（LMS）上進行。而互聯網數據并不是我們理想中的Transformer訓練數據。我們真正想要的，是更接近人類大腦中的“內心獨白”那種數據——當你在解決問題時，你的大腦會產生一系列思維軌跡。如果我們能得到上億條這樣的數據，類似于AGI的想法，那我們就能取得很大進展。但目前我們還沒有達到這個水平。

所以，現在很多工作都圍繞著互聯網數據展開。這些數據雖然不是完美的，但已經非常接近，因為互聯網上有足夠的推理痕跡和豐富的知識，而Transformer的作用就是讓這些數據得以有效利用。

我認為，接下來很多工作將聚焦于如何將數據集重構為更類似于“內心獨白”的格式。合成數據的生成在這方面能提供很大幫助。

有趣的是，當前的模型在很大程度上幫助我們構建下一代模型。它就像在攀登樓梯，一步步向前推進。

Q：你認為合成數據有多大用處，或者說能帶我們走多遠？

Karpathy：我認為合成數據的確是我們進步的關鍵之一，但一個常見的問題是，模型在生成內容時可能出現“坍塌”現象，輸出變得單一。

比如，讓ChatGPT講笑話時，它可能只會重復三四個笑話，缺乏足夠的變化。這種“熵”降低現象表現在單個結果上并不明顯，但從整體來看，模型的輸出會失去多樣性和豐富性。

如果你沒有保持這種數據的隨機性和多樣性，你就會得到一個貧瘠的數據集，失去了原有的活力。這種問題在表面上不易察覺，但實際上它會極大影響模型的性能。因此，在生成合成數據時，你必須非常小心，確保數據集中保留足夠的熵。

Q：你認為我們從這項研究中對人類認知了解了什么？

Karpathy：總體而言，這兩者還是有很大差異的，但確實有一些相似之處。例如，在很多方面Transformer比人腦更高效。它們之所以還不如人腦，主要是因為數據問題——這算是一個大概的解釋。

比如，Transformer在記憶序列方面比人類強多了。你給它一個序列，它可以在前后進行操作，記住并完成整個序列。而人類，只看一遍是記不住的。

所以在某些方面，像Transformer這樣的模型，尤其是在梯度優化上，可能比大腦還要有效。盡管它們還不完美，但在很多認知任務上，我認為它們有很大的潛力。

我覺得人類大腦有很多限制。我們的工作記憶非常小，而Transformers的工作記憶要大得多，并且這種差距會持續擴大。它們是更高效的學習者。大腦在各種限制下工作，比如不清楚大腦是否使用反向傳播，也不知道那會如何運行。大腦是一個非常隨機、動態的系統，受環境和其他因素的制約。所以，我認為我們現在的技術，潛力上比大腦更強，只是還沒完全到達那個水平。

Q：未來隨著時間推移，人類會怎么樣和AI系統結合？

Karpathy：我們其實已經在某種程度上融合了。問題在于輸入輸出的瓶頸。但大多數情況下，如果你擁有這些模型中的任何一個，你已經在使用它們了。或許未來，通過某種形式的融合可以解決未來與AI或其他系統的潛在沖突。我覺得這有點像大腦的外層皮質。我們是在新皮層上繼續構建。只是這次，它是在云端，而不是在我們頭腦里，但本質上，它是大腦的下一層。

Q：你認為未來的模型會是什么樣的？

Karpathy：我覺得模型可以小到讓你意想不到。現在的模型浪費了很多容量在記住一些不重要的東西上，這是因為我們用的數據集沒有整理得很好。我認為這種情況會改進的。我們需要做的是找到認知的核心部分，我相信這個核心可以非常小。它只需要能思考，如果需要查找信息，它知道怎么用不同的工具來獲取。

我覺得10億參數就夠了。我們有可能做到這一點。模型可以做得非常小。這是因為蒸餾技術很有效。蒸餾就是用一個大模型或者大量的計算資源去訓練一個小模型，你可以把很多功能壓縮到一個小模型里。

也許這個未來不是一個單一的模型，可能是并行的一組模型。你能從并行處理的優勢中獲益。我覺得公司在某種程度上也應該強調工作中的并行化。不過，公司存在的層級結構是為了有效地組織信息。

所以，我認為未來大模型的工作模式會像一個「大模型公司」。你會有各種不同能力、專注于獨特領域的模型。這將類似于公司中的不同角色，比如程序員和項目經理，他們并行工作并進行協同計算。模型們會形成一個生態系統，里面有專門的角色和生態位。問題會根據難度自動上升到不同部分。

因此，也許CEO就像一個非常聰明的云模型，甚至可能是開源模型或其他類型的模型。這種方式可能會很有趣。

Q：?你離開了OpenAI，開始從事教育工作。為什么會做出這樣的決定呢？

Karpathy：我覺得現在AI領域有很多活動，很多都是想取代或替代人類的，這讓我感覺有點像把人排除在外了。

我更關心的是如何通過AI協助人類。我不希望未來人們只是被自動化取代，我希望人們能夠變得更強，更出色，比現在更好。如果一個人有一個完美的全科導師，他們能走多遠呢？但如果人們能有一個完美的學習安排，他們可以走得非常遠。我們看到一些有錢人大概率有私人導師，他們的確取得了很大的成就。所以我希望通過AI，達到接近這種效果。

我覺得學習就像去健身房一樣，是對大腦的鍛煉。去健身房本身是很有趣的，雖然需要努力，但也有很大的回報。你在各方面都能感覺更好。我認為教育也應該有這種感覺。所以當我說教育不應該只是有趣的時候，我指的是它應該有挑戰性，也應該帶來一種特別的樂趣。在一個后AGI的世界里，我希望人們能像去健身房一樣經常去「學習」，不僅是身體上的鍛煉，還有精神上的。這是我們所向往的目標，高教育水平就是這種理想的體現。

（聲明：本文僅代表作者觀點，不代表新浪網立場。）