柳夜熙又更新了，虛擬人的底層技術是什么？
play
歡迎關注“新浪科技”的微信訂閱號：techsina
文/玉谷子
來源/盒飯財經(jīng)（ID：daxiongfan）
3條視頻，增粉776萬，獲贊超千萬。
12月12日，被上千萬網(wǎng)友催更的“美妝博主”柳夜熙，在抖音更新了一條視頻。
一條狹窄幽暗的街道，柳夜熙手撐一把油脂傘，走進一家店鋪。電視機中出現(xiàn)一則8歲小女孩的“尋人啟事”。
“怎么最近都是你在店里，你姐去哪了？”柳夜熙問。
“我姐啊……她出去了。”阿一猶豫片刻后，回答道。
畫面一轉，阿一姐姐出現(xiàn)，在看到柳夜熙后她轉身跑進一個充滿電子設備的昏暗廠房，這里雜線鋪滿地面，無數(shù)個電腦屏幕上閃動著正在傳輸數(shù)據(jù)的大腦圖形，8歲的小女孩正躺在床上，頭上戴著儀器。
“你連孩子都不放過”，柳夜熙拿出手中的魔法筆，準備動手，阿一阻止，隨后柳夜熙為他畫上了看不見的眼影，姐姐現(xiàn)出原形，柳夜熙“收妖”成功，姐姐和她的女兒得救。
“柳夜熙，這……只是個開始。”劇情結束。
盡管只有4分鐘，但敘事流暢，畫面感真實，充滿了賽博朋克的味道和電影質感。
評論區(qū)，有人稱贊“我竟然在抖音！看電影！！！” “白嫖這么高級制作有點不好意思”，還有人評論“元宇宙今天又漲了”。
值得注意的是，視頻的下面，除了時下最火熱的“元宇宙”，還打上了“腦機接口”的標簽。
截至目前，有關“柳夜熙” “柳夜熙是誰” “終于等到柳夜熙更新” “柳夜熙特效”等相關話題在抖音上已有超過7.6億次播放，都在挖掘和創(chuàng)作這個被抖音稱為“中國第一個元宇宙博主”虛擬偶像背后的故事。
一夜之間，蹭上元宇宙快車的虛擬偶像，再次翻紅了。
事實上，虛擬偶像并不是全新概念。從洛天依帶貨直播，到愛奇藝打造虛擬人物才藝競演節(jié)目《跨次元新星》……虛擬人物的出現(xiàn)，不僅為“Z世代”帶來新鮮的互動體驗，也給藝術家的創(chuàng)作過程注入新靈感。
但也有觀點認為，柳夜熙在技術上并沒有任何突破，之所以一夜爆紅，是迎合了市場對于元宇宙概念的狂熱情緒，屬于新瓶裝舊酒。
柳葉熙帶來的討論，和對元宇宙的認知延展。不少觀點已經(jīng)從運營角度講清楚了，本文則試著從技術角度，還原柳葉熙的技術背景。
讀完本文，你將了解：
1.她是如何被創(chuàng)造出來的
2.柳夜熙背后的虛擬人技術演進
3.虛擬人成型之后，如何進入元宇宙
虛擬人的“臺下十年功”
虛擬人起源于日本動漫的角色發(fā)展，最早的虛擬偶像鼻祖要算2007年出現(xiàn)的“初音未來”。作為一個以語音合成引擎為基礎設計的音源庫，初音未來能唱無數(shù)首歌曲，和ladygaga同過臺。
虛擬人中，二次元形象居多。如登上21年春晚的“洛天依”， B站網(wǎng)紅“yoyo鹿鳴”，抖音爆紅的“小狐貍NINICO”，屈臣氏代言人“屈臣曦”，都屬于這一類，并且借助次元流量，都已成為熱門IP，通過代言、商演、直播等成功變現(xiàn)。
2019年，嗶哩嗶哩甚至專門為二次元虛擬偶像舉辦了一場名為Bilibili Macro的線上演唱會。初音未來、洛天依以及作為虛擬主播的Kizuna AI、白上吹雪等在演唱會的舞臺上出現(xiàn)，瞬間引起轟動。
由于技術限制，超仿真虛擬人目前角色不多，大多以靜態(tài)圖片或者幾秒短視頻的形式出道。柳夜熙也僅僅128秒。
如走時尚路線的虛擬人物“翎”，外貌東方，身材出眾，熱愛國風，善京劇。這類有個性的虛擬KOL，一方面具有新事物的流量熱度，一方面容易吸引大量次時代消費者關注，且不會有真實偶像的塌臺風險，成為廣告商的新寵。2020年5月出道，目前已簽下多家大牌合作。
柳夜熙是開創(chuàng)性的角色，她實現(xiàn)了仿真虛擬人在短視頻上的首次嘗試。按照主辦方的說法，這是一個2.5次元的形象設計，處于二次元動漫形象和三次元的真實世界人物形象之間的位置。
這類“超仿真”形象的后期開發(fā)過程非常漫長——1.高精度原畫設計；2.高寫實3D建模；3.導入高水準的虛擬人引擎；4.高精度動捕；5.高精致的修幀渲染。每個步驟都耗時耗力，不懂行的人很難做好。
首先是3D建模，要做到高寫實，除了皮膚，毛發(fā)的細節(jié)精細還原之外，難點在于如何做到表情自然，說話口型不失真。相較于原理相似的語音合成技術，將聲音、口型、表情匹配適宜要難得多，很容易造成“僵硬木訥”的觀感。
純動畫的特效設計成本高昂，所以，每個虛擬人的背后其實都有一個實時驅動的真人，這群動態(tài)捕捉演員和配音演員都稱為“中之人”（驅動著虛擬形象的真人），將他們的言行嫁接到角色身上，是最常見的操作。
行動演員的動捕服里包含多個傳感器節(jié)點，用于采集運動動作，手套里也會有十多個節(jié)點，用于采集手部關節(jié)動作。高精度的動態(tài)捕捉，一方面依靠背后中之人的表演技巧，另一方面要求技術能夠將中之人的表演有效捕捉。柳夜熙的連貫動作也和背后演員分不開。
比如，為《泰坦尼克號》《頭號玩家》等提供過特效支持的公司--數(shù)字王國打造的教育路線的高仿真虛擬人“小艾”就是高精度動捕的作品。
“小艾”的制作以Momentum為核心技術，面部表情上運用了超高精度的眼球追蹤，甚至可以捕捉到演員的眼球震顫；在頭發(fā)處理上，能根據(jù)演員不同動作幅度，進行重力計算，同步擺動，逼近真實效果。
最后的渲染是所有動畫設計不能繞過的重要一環(huán)，最終成品到底幾分逼真，都靠這個過程的修飾，也是眾所周知的耗時。
2019的科幻冒險電影《阿麗塔：戰(zhàn)斗天使》，由《阿凡達》《泰坦尼克號》的導演卡梅隆操刀，講述26世紀一個擁有機械手臂少女的戰(zhàn)斗故事。為了效果逼真，后期渲染4.32億小時，一度成為當時的熱點新聞。
三萬臺電腦，800名技術人員同時工作，因為電腦高負荷運轉發(fā)燙，甚至低溫時能看見工作室有熱氣往外冒。
越是要求逼真，渲染過程要求越高。
僅僅完成一個128秒柳夜熙就需要涉及到這些復雜的技術。從本質上講，她是一個出色的后期特效作品，就像視頻下有一個7.7萬贊的熱評“不買票就能看電影了”。
不可否認的是，柳夜熙暫時不能和觀眾互動，屬于劇中角色，類似于游戲中的NPC。而另外一種能夠和觀眾互動，能實時反饋的虛擬人也在研究之中。
能獨立思考的“真人”
齊耳超短發(fā)，碎劉海，高鼻梁，若隱若現(xiàn)的幾點雀斑，一張大氣的“國際臉”加上177的身高，模特形象呼之欲出。
她就是博采傳媒設計的超寫實虛擬人--20歲的馬當颯颯，英文名Madam-ZAZA。當你和她四目相對，你可能會覺得這位20歲的女孩就是真實的。
更驚喜的是，這是一個能夠獨立思考的虛擬人。比如可以和現(xiàn)場觀眾實時筆心，給受眾帶來全新的沉浸式互動體驗。
馬當颯颯正如電影《Her》中的薩曼莎，都是帶有自我意識的虛擬角色，能與人類產(chǎn)生情感交互。颯颯背后由AI驅動，所以自帶靈魂，而柳夜熙背后由“中之人”驅動，沒有“中之人”的時候，只是一個靜止的軀殼，這就是兩者的區(qū)別。
要讓虛擬人能夠像真人一樣兼具IQ和EQ，進行有邏輯、有個性的交互和反饋，目前的技術還在探索中。
為了給颯颯“長腦子”，博采傳媒采用的是自主研發(fā)的超寫實引擎與實時互動算法，由于技術的限制，她的“栩栩如生”也才展現(xiàn)一個小角，進一步的互動也在開發(fā)中。
除了背后驅動，兩類人物在效果實現(xiàn)上也有區(qū)別。柳夜熙這類制作完成再發(fā)表的虛擬人，用的都是離線渲染技術，能夠為了追求高精度不計時間成本，多用在電影的后期特效上。
若要像馬當颯颯一樣實時互動，也需要實時渲染，大量數(shù)據(jù)表明，延時控制在100ms以內(nèi)，觀眾才能感受到聲畫同步。一般這種技術多用在游戲上，對設備要求高。
相對游戲，超仿真虛擬人對應的身體動畫、表情動畫、毛發(fā)模擬、布料解算、燈光反射模擬等一系列計算渲染需要更加強大的算力支持。技術尚在發(fā)展中，暫未有理想的角色面世，多停留在設想階段。
如三星旗下Star Labs實驗室在2020年CES上帶來了此類智能“虛擬人”項目設想—Neon。
在STAR Labs的設定中，Neon外形酷似人類，主要出現(xiàn)在各類職場中。同時利用AI，在和人類的溝通交流中不斷學習，持續(xù)完善角色的智能性。
清華大學的虛擬學生“華智冰”也是類似的例子。
據(jù)澎湃新聞，華智冰不僅會四種舞姿，可以根據(jù)音樂的急緩調(diào)整動作，還可以根據(jù)某個字作詩，并可以根據(jù)某幾個關鍵詞創(chuàng)作一幅畫，甚至可以寫一些短文章。
研究團隊目前對“華智冰”的學習規(guī)劃和Neon類似，都是先進行大量數(shù)據(jù)包的輸入錄入基礎信息，然后通過AI進行自主學習，能自己生存。
雖然，“華智冰”陷入一系列“AI換臉”的輿論風波，但這種設計初衷是很好的。
這類離開了“中之人”，能夠獨立思考的虛擬人靠AI技術驅動，他們能夠理解人類的言行舉止，同時做出適當?shù)姆答仭?/p>
這類角色可以擔任元宇宙時代中人機交互的接口，相當于互聯(lián)網(wǎng)時代的APP的功能。
元宇宙中都是虛擬人
上述兩種虛擬人角色，無論是“中之人”操控還是AI操控，都有他們的用武之地。
目前的個人虛擬人角色還只有少數(shù)明星擁有，比如：黃子韜、迪麗熱巴、張藝興等，這些也是具有商業(yè)價值的二次元角色。隨著技術發(fā)展，會越來越普及。
元宇宙是和現(xiàn)實世界平行的存在，現(xiàn)實世界里長什么樣子，元宇宙就會是什么樣子。在這個世界中，每個人都會有屬于自己的“虛擬人”。像《頭號玩家》中展現(xiàn)的一樣，個人穿上穿戴設備后，成為自己角色的“中之人”，進入元宇宙的世界。
至于AI操控的智能虛擬人，也能應用在元宇宙的許多人工服務領域。比如商場售貨員，博物館講解員等重復性工種崗位，虛擬人可以比人類做得更加出色，而且永遠不會抱怨，不會疲倦。人類則可以從重復勞動中解放出來，享受生活。
當下的大多數(shù)游戲，角色設定都是二次元風格，和真人還是有很大區(qū)別，沉浸感有所欠缺。元宇宙結合超仿真虛擬人，將角色外形設定為個人現(xiàn)實中的實際長相，或者自己的理想長相，都會提升角色的沉浸感，拉近和現(xiàn)實世界的距離。
如果我們現(xiàn)在想要在游戲中創(chuàng)建一個理想的角色形象，大多通過“捏臉”，本質是3D建模。
比如美國的捏臉平臺--Genies，是基于AI的虛擬形象設計平臺。用戶可以根據(jù)喜好設計自己的頭部形象，整體角色呈現(xiàn)頭大身體小的戲劇效果。
但這種操作有門檻，耗時長，并且常常捏完之后發(fā)現(xiàn)不像自己。就此衍生出了“游戲捏臉師”的行業(yè)，“兼職游戲捏臉師月入上萬”的話題甚至在前段時間上過熱搜。
據(jù)后浪研究所，一位95后廣東游戲捏臉師表示，游戲捏臉數(shù)據(jù)需求量大，普通原創(chuàng)作者月入上萬，優(yōu)秀的創(chuàng)作者一個月能賺6-7萬。
字節(jié)跳動也在今年9月上線了一款捏臉APP—“Pixsoul”。
虛擬人成型之后，如何進入元宇宙，操作虛擬人，要從穿戴設備開始。
穿戴設備的門檻
目前已經(jīng)有了一種可以算為元宇宙先導體驗的產(chǎn)品--協(xié)同辦公的虛擬會議室。如Facebook打造的VR工作平臺Horizon Workrooms就是一個很好的例子。
先用VR設備掃描現(xiàn)實辦公桌面，連上電腦，帶好頭戴眼鏡。眼前會出現(xiàn)一個虛擬空間，鍵盤和電腦會和現(xiàn)實位置一樣，且電腦屏幕上的內(nèi)容已完全和現(xiàn)實同步。所有的與會同事，彼此之間在現(xiàn)實中或許相距很遠，通過vr都能聚在一起，每個人擁有一個二次元化身。還配上了手勢捕捉等功能，讓人物形象更加生動。
但不少用戶反應它的頭戴設備很沉重。
穿戴設備的突破是元宇宙繞不過的技術門檻，甚至有的人佩戴VR眼鏡會引起頭部3D眩暈癥等。針對這一問題，不少科技公司其實早已在探索的路上。
Micorsoft的HoloLens系列，整體設計簡單，在向輕便方向發(fā)展，也得到了市場的認可。在今年4月的美國陸軍招標中，微軟中標，十年內(nèi)交付超過12萬副頭戴式AR設備，合同總價值可能高達218.8億美元，就是針對HoloLens系列的定制開發(fā)。
Facebook將上萬人力投入在了AR/VR業(yè)務上，擴展半導體和腦機接口的一系列專利。
蘋果有計劃在2022年發(fā)布首款穿戴式頭顯設備，不同于FB，Apple專注是VR和AR一體的頭顯設備，AR眼鏡會和手機共存。
阿里也正在研究裸眼3D技術。即在不佩戴眼鏡的情況下也能看到3D效果。
短時間內(nèi)，柳夜熙火了，她的樣子是否就是未來元宇宙中普通人的樣子？隨著技術的發(fā)展，人物到底能多逼真，到底能多智能，這個問題還難以回答，但虛擬人作為元宇宙的角色基礎，它的重要性是毋庸置疑的。
作者簡介
