來源：量子位

曉查 發(fā)自 凹非寺?

量子位 報(bào)道 | 公眾號(hào) QbitAI

愛自拍的女生，為了拍一張美照總是需要很久，就是為了找到最美的角度。

比如這位妹子，在自己的書架前拍了4張自拍照，都不太滿意。

現(xiàn)在可以把選最美角度這件事交給AI了，讓妹子不再苦惱。只要幾張照片，它能從中生成各種角度的自拍。

然后，你可以在AI生成的視頻里，找到一個(gè)自認(rèn)為最美的角度，分享到朋友圈。

這個(gè)AI就是華盛頓大學(xué)和谷歌聯(lián)合開發(fā)的nerfies。

這種方法不需要太復(fù)雜的設(shè)備，只要智能手機(jī)的攝像頭和CPU就能完成運(yùn)算和渲染。這可比iPhone 12 Pro用內(nèi)置激光雷達(dá)來生成3D圖像的成本低多了。

原理

看到nerfies這個(gè)名字是不是有種似曾相識(shí)的感覺？nerfies其實(shí)就是NeRF+Selfies兩個(gè)單詞合并而來。

NeRF（神經(jīng)輻射場(chǎng)）是谷歌最近開發(fā)的一種2D圖像轉(zhuǎn)3D的模型，但NeRF要求拍攝對(duì)象在整個(gè)過程保持完全靜止。

比如，上面的妹子在自拍4張照片的時(shí)候，頭部姿勢(shì)不可避免地會(huì)發(fā)生變化，如果直接套用NeRF，效果慘不忍睹。

而nerfies則是可變性神經(jīng)輻射場(chǎng)（Deformable NeRF），它能夠重建非剛性變形的場(chǎng)景。

在NeRF的基礎(chǔ)上，作者從幾何和物理模擬的原理出發(fā)，提出了NeRF的彈性正則化，進(jìn)一步提高了2D轉(zhuǎn)3D的魯棒性。

在可變性NeRF中，作者引入了彈性正則化、背景正則化以及一種可避免不良的局部最小值退火技術(shù)。

作者將潛在變形碼（ω）和外觀碼（ψ）與每個(gè)圖像關(guān)聯(lián)。在觀測(cè)幀中對(duì)攝像機(jī)光線進(jìn)行追蹤，并使用變形場(chǎng)將樣本沿光線轉(zhuǎn)換到規(guī)范幀，變形場(chǎng)由變形碼ω編碼為MLP。

另外使用轉(zhuǎn)換后的樣本位置(x0，y0，z0)、觀察方向(θ，φ)和外觀碼ψ作為MLP的輸入，來查詢模板NeRF模塊，并沿著光線對(duì)樣本進(jìn)行積分。

更多玩法

可變性NeRF不僅可以用于自拍，還有更多好玩的用途。

比如創(chuàng)建“希區(qū)柯克變焦”的效果，過去需要專門的攝影技巧，或者是通過由遠(yuǎn)及近的拍攝視頻再后期處理?，F(xiàn)在只要幾張照片就可以了。

如果不需要場(chǎng)景角度變化，而是需要人物姿勢(shì)變化呢？

可變性NeRF能在頭向左和向右之間線性插入任意姿勢(shì)的照片。

最后還有一個(gè)用途是生成防抖視頻。既然可變性NeRF可以生成任意角度的圖像，那么現(xiàn)在可以讓手負(fù)責(zé)抖，而讓它負(fù)責(zé)穩(wěn)了。

目前作者還沒有公布源代碼，不過他們的項(xiàng)目主頁上已經(jīng)放上了GitHub的按鈕，看來他們已經(jīng)準(zhǔn)備開源了。你是不是迫不及待想試一下呢？

項(xiàng)目地址：

https://nerfies.github.io/

論文地址：

https://arxiv.org/abs/2011.12948

本文系網(wǎng)易新聞?網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【量子位】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。

量子位年度智能商業(yè)大會(huì)啟幕，大咖已就位！

12月16日，李開復(fù)博士、尹浩院士、清華唐杰教授，以及來自小米、美團(tuán)、愛奇藝、小冰、亞信、浪潮、容聯(lián)、澎思、地平線、G7等知名AI大廠的大咖嘉賓將齊聚MEET2021大會(huì)，期待關(guān)注AI的朋友報(bào)名參會(huì)、共探新形勢(shì)下智能產(chǎn)業(yè)發(fā)展之路。

▽早鳥票限時(shí)優(yōu)惠，掃碼鎖定席位吧~

量子位?QbitAI · 頭條號(hào)簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場(chǎng)。）