品玩對話王小川:“年底做出中國最好的大模型來”

品玩對話王小川:“年底做出中國最好的大模型來”
2023年04月10日 14:58 PingWest品玩

  對話:駱軼航  郭海惟

  文:郭海惟

  整理:李曉賢 呂可

  4月10日,王小川終于官宣了他的AI大模型公司“百川智能”。

  在過去兩個月巨浪般的行業熱潮下,他選擇了戰術性的低調。王小川對品玩表示,“百川智能”目前早前已經獲得了5000萬美元啟動資金,已初步搭建起包括搜狗、百度等技術骨干在內的團隊。

  而早在一個月前,百川智能在沒正式入職、完全遠程協作的情形下,已經開始了500億級大模型的訓練,并且“進展很順利”,“清華老師都很驚訝”。

  在對話中,你可以感受到通用人工智能(AGI)事業帶給這位45歲創業者的能量。

  這種能量一方面來自AGI本身的“性感”,它足夠宏大、切中人類的歷史文明進程;另一方面來自資源的匯聚,不僅頂級高校、頂級資本都在向他拋來橄欖枝,過去搜狗時代吸引不來的人才,如今都在向他聚攏。他對品玩坦言,自己“沒有享受過這種待遇”。

  王小川確實也值得這種關注。他是清華大學學霸、搜狗的靈魂人物、那一代AI創業潮的領軍者。在IT之外,還是狂熱的生物學愛好者,習慣用生物學的視角審視世界——這與人們對AGI的討論不謀而合。

  在采訪中,他對于AGI商業有屬于自己獨特的理解,又對于看不慣的事情保持了一種禮貌的直率:

  他反對“拼盤式”創業,認為公司、團隊、技術都是一個“生命體”,因此都需要成長的過程;他反對大力出奇跡,堅持認為“人”才是項目中的核心,一切產品官都應該建立在人本思考之上。

  他反對按照粗暴的歸類來對創業類AGI企業說“風涼話”,認為中國還會有自己OpenAI;

  他反對以極端的眼光看待中國AGI產業發展,認為很多人把中國AGI看得“要么太low、要么太偉大”。

  所以他也堅持了過去的那份“較真”。

  比如他選擇了非常克制的第一輪融資;堅持把場景和大模型訓練放在同等重要的位置上;他認為AGI不是過去簡單的工業革命再現,而是文藝復興。他也不認為中國的大語言模型從一開始就必須得追求ChatGPT的最高水準,“最重要的還是能夠提供有價值的服務,煉不出長生不老丸,我就先煉延年益壽丸,不好么?”

  百川智能目前開始進行500億大模型訓練。王小川相信:“今年年底做到國內最好的”。

  以下是品玩與王小川的訪談實錄:

  “年底做出對標GPT-3.5的大模型”

  品玩:公司名字定下來了嗎?不叫五季智能對吧?

  王小川:叫“百川智能”,寓意“海納百川,匯聚知識”。因為大模型其實就是以語言為核心,把天下知識都匯聚并進行學習的一個過程。

  品玩:而且把自己的名字也押進去了。

  王小川:是的。啟動資金目前是朋友們在支持,一些老團隊也回來了。你可以理解“百川”既是跟世界連接,也是跟我之間的團隊和資源完整地連接在一起。

  品玩:融資的進展可以透露一下嗎?

  王小川:其實不算融資,第一期也就是5000萬美元。首先還是周圍的親友與個人的支持,包括我自己都有投進來,面向機構的融資會再近期啟動。

  品玩:但其實很多投資者都想投你們。

  王小川:至少我們能夠訓練出一個好的千億模型,錢是夠的。至少到今年年底是夠用的。如果要做AGI,確實還需要很多錢。(具體的需要多少錢,建議先不披露,可能容易打臉)

  品玩:現在OpenAI應該是融了100億美金,但實際大規模花錢也是GPT-3出來之后,也是2021年之后的事情。

  王小川:錢很關鍵,但更關鍵的還是里面的人具體的操作。企業是一個生物體,無論是技術、團隊、業務,都需要有一個生長的過程。如果強行把人和錢像拼樂高一樣攢起來,就容易遇到困難。

  品玩:那你團隊現在組建得如何了?

  王小川:有搜狗原來的班底,也有百度等多家大廠的領軍人物加入,還有其他創業公司核心人員的加入。到四月底的話團隊會有50人了。其實這是個很好的互補,搜狗原團隊在2021年就完成過百億參數模型國內第一,加上其他領軍人物帶隊融入,在一起就是一個磨合完成且有多元經驗的團隊。

  品玩:搜狗的班底能占多少?

  王小川:整體占比不超過一半,主要是快速把底子搭起來。隨著人越來越多,以后占比會越來越低。我們團隊里有很多“少帥”,既有經驗、又年輕的人。其實我個人是沒有享受過這種待遇的。你要知道搜狗最后幾年招人很難的,優秀的人才愿意過來跟你聊天,但沒法跟你共事。其實就是你當時做的事情不夠性感了。

  品玩:說說性感的,大模型這一塊訓練的怎么樣了?

  王小川:我們已經開始訓練500億參數的模型了,進展很順利。跟清華的老師們去聊的時候,他們很驚訝我們的進展。年底前我們會發布對標GPT-3.5的大模型,有信心今年年底做到國內最好。

  “有些人的觀點,從來沒對過”

  品玩:現在有一種觀點認為,GPT3.5以后大模型不再適合創業公司來做了,創業公司跟著后面重新做一個大模型意義不大。因為拼的還是大力出奇跡,集中力量辦大事。

  王小川:行業中有些人對未來的觀點從來就沒有判斷對過,一直活在平行宇宙里。

  大模型就是需要時間長一點,認真一點,而錢也不是唯一重要的。

  我們看到清華學生還是很優秀的,而且他們團隊結構比較簡單,好多大公司反而被自己復雜的人事困住了。

  品玩:所以一些即便有技術積累的大公司,其實也有它固有的問題。

  王小川:你首先需要純粹簡單專注的組織結構,從愿景開始能把團隊不斷升級,就像小孩子逐漸長大的過程。第一天就拉著小孩在這里面做明星是不現實的。有些公司雖然有大模型這個底子,但沒碰好就練歪了,上戰場更難受。

  品玩:但我們看到最近新發大模型產品的公司,中美兩地最先跟進OpenAI很多都有搜索背景,比如谷歌、百度、360等。你本人也是一手把搜狗做起來的人。是不是搜索公司,確實有一些先天的技術優勢呢?

  王小川:因為今天首先是語言模型,搜索公司做語言確實有先天優勢。而且搜索公司的經驗是比較完整的,從數據清洗、轉化成模型,到最后上線提供服務、甚至在數據安全這一塊的經驗,其實都干過。公司的組織結構和評價體系,也都有相關性。所以搜索公司起步的時候的確是有優勢的。

  先“延年益壽丹”,再“長生不老丸”

  品玩:大家說“大模型是煉丹,prompt 是寫咒”。這對很多AI從業者來說會有幻滅感,因為你不知道哪一個環節就會帶來質變。那你作為一個 AI 的科學家,你該如何評估你的進程和成果呢?

  王小川:我們心里還是有底的,因為這個東西是有價值的。所以即便沒有像OpenAI那樣在短時間內激發起那么多智能,我們也能先讓它變成國內最好的企業,給人足夠的服務。

  它可以服務很多已經存在的場景:比如搜索里面接入,會比傳統的搜索引擎好用得多;你跟這個醫療數據接入,會讓醫生更靠譜。

  那個智能的終極,我們永遠都會去追求。但是我們跟 ChatGPT 不一樣的地方是,我們需要追求落地的場景是不是用得著。你煉出一個“長生不老丸”,我煉出一個“延年益壽丹”行么?

  品玩:我們現在做的還是通用大模型,像OpenAI其實很少提場景的問題、提供的接口也比較少。所以“長生不老丸”與“延年益壽丹”,這兩個目標是否存在矛盾?

  王小川:過去有句話“做中國的OpenAI,不要只做中國的ChatGPT”,很多人覺得高級,但是這話錯了。

  比爾·蓋茨把ChatGPT叫做“像發明Internet一樣偉大”,黃仁勛叫做“iPhone時刻”。不過這兩句話講的不是一個意思。

  “像Internet一樣偉大”是說大模型的意義,這個大模型“能讀、能寫、能理解”,能夠產生很多想象力;而黃仁勛講的“iPhone時刻”,是指ChatGPT帶來的這種人機交互、人機關系發生變化。后者更多落腳到人的變化,而非技術。

  ChatGPT 其實是代表了新的人機界面和入口。今天看起來好像微軟把它包住了,只是作為微軟的一個工具,就像Google剛出來的時候只是雅虎的一個搜索框。但未來,ChatGPT反而是有更大的發展空間在里面,所以在我心中以后Office可能都是不需要的東西。

  品玩:我也認同Office以后就不需要,但搜索引擎呢?

  王小川:

  我覺得一個可以叫GC(Generate Content),一個叫IR(Information Retrieval)。這兩個模型一個像是相對論,一個像量子力學。IR的代表是Google,很多細節都知道,但并不抽象。GC的代表就是ChatGPT,壓縮成一個模型、把細節全丟了,也不實時更新,把所有知識都融在了一起。

  在中國我覺得它是有機會的,把檢索模型和搜索模型裝進Chat里,形成一個帶有搜索功能的底座。對我們而言,我們第一天的動力就是要把這個裝進去。但我們不是要做新的搜索引擎,而是把搜索能力嵌入到Chat里面去。

  “偉大和平庸都不是我們”

  品玩:有些人認為,OpenAI成功原因之一,是它在企業和學校之外創造了第三種類型的組織形式(OpenAI Nonprofit)。你是經歷過細分AI領域創業潮的行業領軍者,現在也在做大模型創業、對接了很多學校的資源。如何看待新業務對組織結構上帶來的潛在變化?

  王小川:我認為觀察公司內核是第二位的,因為你想從外面打開看里面肯定是看不完整的,最好是從外面看它對外提供了什么樣的東西。比如OpenAI最早是提供AGI認知能力、一種“知識”,像大學里的東西;但當它一旦變成公司,它就變成提供產品和服務。

  所以大模型確實既需要研究能力、也需要產品能力,而工程能力是夾在中間的。它只有先發現“知識”,再轉成應用。在發現“知識”這件事情,OpenAI已經突破了天花板。所以我們研究的壓力相對小,更多要學習應用的事情。

  其次,中美不太一樣的地方是,我們有很多優秀的人才其實是固定在高校里的。所以企業需要與它們有很好的合作。所以你看到清華大學很多資深的、甚至院士級的老師,都會對我們有很多的支持,這也會降低我們研究的壓力。

  品玩:我們公布模型等技術成果的時候,會同時考慮發論文的事情嗎?

  王小川:可能會和高校一塊發吧。

  但我認為這不是這場戰役的關鍵。

  今天當然自己是需要研究的,但很多也會放到學校里。依托高校是需要的,我們很多人才儲備也是從高校中過來。

  品玩:大家討論的中美之間的大模型競爭的時候,都會不約而同討論語料庫的問題。很多人覺得英文的語料庫天然很好,而中文就會相對受限一點。你怎么看待這個問題?

  王小川:目前我們中英文的都會用,同樣也有很多不錯的英文語料來源。這就跟教小孩一樣的,最終都是靠開發者利用很多機制去調語料的來源或者比例。

  就好比爸爸講英文,媽媽講中文,但里面的東西是一致的。不會因為他用中文學的醫學知識,換成英文就不會了。他在知識層面是一樣的。

  品玩:那算力的問題呢?

  王小川:對于我們來說,都不會有太大問題。

  也像剛才說的,我們不是第一天就要對標“長生不老丸”,而是在路上不斷去接近就夠了。

  品玩:這還是一個“中國互聯網智慧”,我們可以做一個落地更好的。

  王小川:我覺得沒有打過仗的人,都有一些理想化的東西在。他們對中國AI大模型的理解,要么太low、要么太偉大,這其實都不是一個現實的中國AI大模型。

  品玩:是,我們要面對的是一個復雜的東西。

  “大家對終局的討論都蠻膚淺”

  品玩:你之前發微博,講中國要做中國的OpenAI。你是在做這件事情里,唯一提到了四個字叫“愛國之心”。這四個字,你怎么解釋?

  王小川:我在研究生物學的時候,意識到其實我與細胞都是生命體,所以慢慢接受一個概念叫Being。無論一個國家、民族、企業、個人、甚至文化,都是Being。而我也是更大的“大我”中的一部分。后者是有完整歸屬感、甚至是永恒的。

  “你是誰”跟你做的事情是息息相關的,反過來你在做什么也可以反過來驗證你是誰。

  有句話叫“天下為私”,我覺得比“天下為公”更高級。這是一種融為一體的感覺。其實也是我們回答終極問題的一部分。

  品玩:那這會讓你的大模型有什么不一樣嗎?

  王小川:我們跟全球大同是有的,但也有互相排異的部分。但首先我們有基本的期許,就是要讓中國更好,你不能做任何有害于中國的事情。

  品玩:怎么看待AGI的“終局”?

  王小川:其實大家對“終局”的討論都蠻膚淺的。我們應該先問“終局這個世界長啥樣”,而如果只是講AGI是底座,這是沒有畫面感的。

  過去工業革命的邏輯是分工越細、效率越高、越規模化。但我們在智能這扇門的面前,可能是“逆社會分工”。

  機器使人被普適性地賦能,更像人類擁有了搜索引擎之后,實現了信息獲取的普惠化。而我們現在是獲得知識和服務的能力普惠化。

  人最終從工作中解放出來。所以產業未來會變平,深度會壓淺、廣度會拉開。人的工作會更加多元化,未必要像現在一樣,必須處于流水線中串在一起才能獲得結果。所以是“逆社會分工”。

  所以AGI可以給人帶來更平等。它可能會更像是一種文藝復興,將重新定義人是什么。

  品玩:跟Sam Altman這樣頂級創業者很像,你似乎也是中國這一波互聯網創業者中,很喜歡思考和表達文明級別宏大命題的人。你要思考過為什么嗎?

  王小川:這個話題有點太大了,能聊兩三個小時。但我覺得可能首先是我內心強烈的意識,人是平等的。所以我不只是想要從產品和市場的角度去滿足用戶,而是一直想追問我和這個世界的關系。

  訪談內容有所刪改

  附:王小川公開信全文:

  今天我正式宣布,創建“百川智能”,一家研發并提供通用人工智能服務的中國公司。

  生活在二十一世紀初是如此幸運,波瀾壯闊的互聯網革命還沒有謝幕,通用人工智能時代又呼嘯而來。多年前我曾斷言,機器掌握語言,通用人工智能時代就來了;我也有暢想,搜索的未來是問答。ChatGPT的騰空出世,地動山搖,這一切都開始成為現實。ChatGPT發布到今天,僅僅131天,每天都有撲面而來的新進展、新突破。131天恍如隔世!

  大半個世紀以來,科學家們前赴后繼,努力創造通用智能機器。這一天終于到來,我們找到了一條巧妙的路徑,用AI成功將語言轉化成了數學模型。語言是知識、思考、溝通和文化的載體。維特根斯坦說,語言的邊界就是世界的邊界。當AI掌握了語言后,就開始認知世界,成為有知識、能思考、善表達、會學習的智能體。我把這樣的智能體稱為“語言AI”。

  人類個體總有消亡的一天,但能夠將畢生的知識通過語言記錄下來供新生命學習、繼承,文明因此延續。人類協作也需要個體之間通過語言溝通。掌握了溝通和世界知識的語言AI不再只是人類的“工具”,而將成為我們的伙伴和超級助理,成為人類文明的一部分。

  智能時代會改寫互聯網時代的范式。‘連接’會被‘陪伴’取代,‘信息服務’會被‘知識服務’取代,‘免費與廣告’會被‘付費與高品質’取代。

  智能時代也會改寫自工業時代以來的范式。曾經是專業化社會分工帶來規模效應與效率提升,而未來會是逆專業化分工:之前需要很多公司協作完成的工作,會因為AI的賦能‘端到端’的完成。

  智能時代將再一次開啟“文藝復興”。每個人都會因為AI的助力而變得更加強大。用好AI,一個人就可能做一個公司,解決之前難以解決的難題,也更容易成為自己想成為的人。社會也會更加扁平,以前少數人才能享有的智力服務,也能更普惠。

  告別搜狗后,我已開啟新的遠征:立志往后二十年,為生命科學和醫學的發展盡一份力,為大眾健康做出一點貢獻,核心路徑是構建生命健康數學模型,并已經付諸行動。ChatGPT的出現,也將成為新遠征的重要助力。

  不僅如此,ChatGPT是我過往經歷的延續和升華。2019年我將搜狗的使命升級為“讓表達和獲取知識更簡單”,愿景定義為“幫助每個人輕松地對話和書寫。便捷地獲得知識和服務,提升工作效率和生活品質”。

  搜狗輸入法和搜狗搜索的數據制備和產品形態,也與ChatGPT接近。它們都是把互聯網上的全部語言數據收集、清洗,壓縮成數據庫并構建超級產品。隨著深度學習的發展,這些產品都多次迭代升級,全面用上了Transformer/Bert等技術。輸入法猜你想說什么,搜索猜你想要什么。而ChatGPT把這些能力推到了一個全新的高度,是輸入法、搜索之外,第三個把全網數據轉化成語言服務的超級產品。搜狗未盡的使命在機器掌握了語言后終于可以實現。

  很多朋友認可我的技術理想主義和技術驅動的創業經驗,鼓勵和支持我做中國的OpenAI。也有很多搜狗和非搜狗的技術大拿,得知我有做大模型的想法,主動申請參與組隊,甚至“帶資入組”。

  我最動心的是,能和一群有理想的人,用極致的技術驅動創造出顛覆性的智能產品。這一次,百川智能將借助語言AI的突破,構建中國最好的大模型底座,并在搜索、多模態、教育、醫療等方面增強,幫助大眾輕松、普惠的獲取世界知識和專業服務。

  籌建百川智能不到兩個月,已有多位技術合伙人和領軍人物的加入。到這個月底將會有近50人規模的精英團隊。大模型的訓練也已經啟動,進展順利。按照現在的進度,爭取年內發布國內最好的大模型和顛覆性的產品。

  我們是中國公司,但我們并不希望只是“中國的OpenAI”,而是能建立世界級的視野和技術品質,讓中國享有世界級的產品,產生有世界影響力的技術的突破,進而服務海外。百川本意是眾多的河流匯集奔赴海洋,象征著眾多數據、行業知識匯聚成為一個強大的智能體系,生生不息。百川也象征著集百家智慧,更多人與我一道共赴山海。我們呼喚中國的領軍人物、行業產品經理和遠在美國的同仁的加入。

  同志們,請通過如下郵箱聯系我們:

  80@baichuan-inc.com

  90@baichuan-inc.com

  95@baichuan-inc.com

  00@baichuan-inc.com

  oier@baichuan-inc.com

  通用人工智能時代剛剛開啟,我們作為第一批跨入新時代的人類,帶著焦慮和好奇去擁抱它,思考和探索“我是誰?”我們還可以把自己的智慧注入它,做新時代的開創者,讓后代們有一個更美好的未來,繁榮和延續人類文明。

  百川智能CEO 王小川

  2023年4月10日

王小川搜狗智能
新浪科技公眾號
新浪科技公眾號

“掌”握科技鮮聞 (微信搜索techsina或掃描左側二維碼關注)

創事記

科學探索

科學大家

蘋果匯

眾測

專題

官方微博

新浪科技 新浪數碼 新浪手機 科學探索 蘋果匯 新浪眾測

公眾號

新浪科技

新浪科技為你帶來最新鮮的科技資訊

蘋果匯

蘋果匯為你帶來最新鮮的蘋果產品新聞

新浪眾測

新酷產品第一時間免費試玩

新浪探索

提供最新的科學家新聞,精彩的震撼圖片