隨著人工智能(AI)巨頭OpenAI再次搬出王炸引爆全球科技界,文生視頻大模型Sora背后的研發(fā)團(tuán)隊(duì)也進(jìn)入公眾視野。
根據(jù)OpenAI官網(wǎng)介紹,Sora核心團(tuán)隊(duì)共有15人,而從公開資料顯示的畢業(yè)和入職時(shí)間來看,這支團(tuán)隊(duì)的成立時(shí)間尚未超過1年。
研發(fā)負(fù)責(zé)人來自伯克利,基礎(chǔ)論文曾因“缺乏創(chuàng)新”被拒
公開資料顯示,兩位研發(fā)負(fù)責(zé)人Tim Brooks和Bill Peebles均博士畢業(yè)于伯克利人工智能研究所,導(dǎo)師同為Alyosha Efros。
Tim Brooks在伯克利期間發(fā)明了InstructPix2Pix,曾在谷歌從事為Pixel手機(jī)攝像頭提供支持的人工智能工作,并在英偉達(dá)從事視頻生成模型的工作。同時(shí),他也是OpenAI文生圖模型DALL·E的主要研究員。
除了技術(shù),Tim Brooks的攝影作品曾獲得國家地理、自然的最佳攝影和國家野生動物聯(lián)合會的獎項(xiàng)。此外還在紐約百老匯的燈塔劇院演出過,還曾獲得Beatbox的國際獎項(xiàng)。
他表示:“我對人工智能充滿熱情,幸運(yùn)的是,它與我對攝影、電影和音樂的熱愛融為一體。”
William (Bill) Peebles(Bill系William昵稱)本科畢業(yè)于麻省理工學(xué)院,師從Antonio Torralba,曾在Adobe和英偉達(dá)有過實(shí)習(xí)經(jīng)歷。
值得一提的是,Peebles和華人學(xué)者謝賽寧一起合著的一篇論文《Scalable diffusion models with transformers》被認(rèn)為是Sora背后的重要技術(shù)基礎(chǔ)之一。Meta首席科學(xué)家LeCun此前曾轉(zhuǎn)發(fā)謝賽寧的推文,認(rèn)為Sora基本上是基于這篇在去年被ICCV(國際計(jì)算機(jī)視覺大會)2023收錄的論文提出的框架設(shè)計(jì)而成。而這篇論文曾因?yàn)椤叭狈?chuàng)新”,被CVPR(國際計(jì)算機(jī)視覺與模式識別會議)2023拒絕。
不過謝賽寧在朋友圈表示,“Sora是Bill他們在OpenAI的嘔心之作,我雖然不知道細(xì)節(jié),但是Bill告訴我他們每天基本不睡覺,高強(qiáng)度工作了一年。跟我的關(guān)系是什么呢,只能說是一點(diǎn)關(guān)系都沒有。”
Sora的系統(tǒng)負(fù)責(zé)人Connor Holmes,畢業(yè)于科羅拉多礦業(yè)大學(xué),電氣電子工程學(xué)士、高性能計(jì)算博士。此前一直在微軟從事研究員相關(guān)工作,2023年12月加入OpenAI,參與Sora、DALL·E等項(xiàng)目。
他表示,自己一直致力于解決在推理和訓(xùn)練深度學(xué)習(xí)任務(wù)時(shí)遇到的系統(tǒng)效率問題。在LLM、BERT風(fēng)格編碼器、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs)和UNets等領(lǐng)域都擁有豐富經(jīng)驗(yàn)。
團(tuán)隊(duì)已有00后,團(tuán)隊(duì)不乏華人身影
Sora的團(tuán)隊(duì)成員中,“00后”Will DePu引人注目。
他畢業(yè)于加州大學(xué)洛杉磯分校格芬學(xué)院,2003年出生于華盛頓州西雅圖市。在他的個(gè)人主頁上可以看到,他在高中時(shí)候就已經(jīng)參與了很多項(xiàng)目開發(fā),并成立了自己的公司。
不僅僅是00后,Sora團(tuán)隊(duì)中,也不乏華人身影。
Yufei Guo公開資料少有顯示,不過在OpenAI兩大“王炸”項(xiàng)目——GPT-4和Sora中,都有他的名字。
Li Jing,本科就讀于北京大學(xué)物理學(xué),此后在麻省理工學(xué)院取得物理學(xué)博士學(xué)位。他此前在Meta工作了兩年,于2022年10月加入OpenAI從事研究工作,包括多模態(tài)學(xué)習(xí)和生成模型。也曾經(jīng)參與DALL·E 3開發(fā)。此外,他還曾入選福布斯中國“30歲以下30人”榜單。
Ricky Wang,畢業(yè)于加州大學(xué)伯克利分校。今年1月從Meta跳槽至OpenAI。此前在Meta和ins任職軟件工程師及工程經(jīng)理。
老兵坐鎮(zhèn)
Sora團(tuán)隊(duì)雖然成立不久,但有不少老兵坐鎮(zhèn)。
David Schnurr,2012年加入Graphiq(后被亞馬遜收購),帶領(lǐng)團(tuán)隊(duì)做出了Alexa語音助手的原型。2016年加入U(xiǎn)ber,2019年加入OpenAI,工作至今。
Joe Taylor,畢業(yè)于美國舊金山藝術(shù)大學(xué),工作經(jīng)歷涵蓋了Stripe、Periscope(?Twitter旗下實(shí)時(shí)視頻流應(yīng)用)、Square、?Blackboard等。在用戶界面設(shè)計(jì)、網(wǎng)頁設(shè)計(jì)、藝術(shù)指導(dǎo)等多方面擁有很強(qiáng)的專業(yè)技能。加入Sora前曾在ChatGPT團(tuán)隊(duì)工作。
Aditya Ramesh,OpenAI的元老,創(chuàng)建了OpenAI 的文生圖系統(tǒng)DALL·E,并共同創(chuàng)建了DALL·E 2。
Eric Luhman,專注于開發(fā)高效和領(lǐng)先的人工智能算法,主要研究領(lǐng)域在生成式建模和計(jì)算機(jī)視覺,尤其是在擴(kuò)散模型方面。
Natalie Summers,曾從事新聞行業(yè),在今日美國、WIRED等媒體有過任職,此后加入蘋果,于2021年3月加入OpenAI。Troy Luhman,只有在他本人的X(?Twitter)賬號上,有一條關(guān)于山姆·奧特曼“宮斗”事件的轉(zhuǎn)發(fā)。Clarence Wing Yin NG,也幾乎找不到任何公開信息。
就是這樣一支年輕的團(tuán)隊(duì),開發(fā)出了震驚業(yè)界的Sora。OpenAI曾在Sora視頻公布時(shí)表示,Sora是能夠理解和模擬現(xiàn)實(shí)世界的模型基礎(chǔ),相信這一功能將成為實(shí)現(xiàn)AGI(通用人工智能)的重要里程碑。
值得注意的是,Sora團(tuán)隊(duì)正在持續(xù)擴(kuò)張。David Schnurr17日在X平臺發(fā)布招聘廣告,尋找有大型視頻基礎(chǔ)設(shè)施經(jīng)驗(yàn)的人員,隨后OpenAI前總裁格雷格·布洛克曼(Greg?Brockman)轉(zhuǎn)發(fā)稱“加入Sora團(tuán)隊(duì)”。
(原標(biāo)題:Sora團(tuán)隊(duì)成立不足1年:15人規(guī)模包括00后,基礎(chǔ)論文因“缺乏創(chuàng)新”被拒)
“掌”握科技鮮聞 (微信搜索techsina或掃描左側(cè)二維碼關(guān)注)