視頻加載中，請稍候...

自動播放

play

向前 向后

來源：量子位

楊凈 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

隨意彎曲、任意抖動，絲毫不影響我在紙上看《龍貓》。

這不是什么屏幕黑科技，而是AI合成的圖像。

來自港中文-商湯聯合實驗室、浙江大學、英偉達的研究人員，用AI將圖片視頻投影到實時彎曲的紙面上，還更改圖片的視角、光照條件。

AI可以在紙上放電影

那么具體是如何實現的呢？

簡單來說，就是通過預測光流來替換視頻中的圖片。

以《星空》為例。

第一步，將這幅畫打印在A4紙上，然后錄制視頻。在不同角度、光照、抖動情況下捕捉紙張，并從中提取幀。

第二步，也是最為關鍵的一步。

用LIFE單獨預測《星空》在視頻畫面中的流動，然后將其替換成其他的圖片or視頻。

這里的LIFE，是研究人員提出的弱監督框架，該框架只需要將整個圖像的相機姿勢變換作為弱監督。

用這一框架來訓練神經網絡，來估計圖像對之間的不變光流。

通過運動結構（Structure-from-Motion，SfM）技術，可以很容易地估計出視角變化大、光照變化大的圖像對之間的相機姿勢。

稀疏對應關系通常是通過特征匹配和指定圖像來建立的。

然鵝，在跨圖像特征匹配時候，指定圖像會出現一些差錯，阻礙了下游任務的進行。

下面這兩個樣本，就有種蹦迪的趕腳~

而用LIFE來指導特征匹配，利用圖像對中豐富的上下文信息來解決模糊匹配的問題。

就如圓圈中特征點，正是LIFE預測下找到與原圖像最匹配的點。

最終，LIFE在各種場景下，都分優于目前最先進的光流估計方法。

來具體看下實現效果~

比如，隨意彎曲。

以及在不同視角的變換。

即便是在黑暗的場景下，也能清晰的看到圖像。

好的，又蹦迪了！

論文鏈接：

https://arxiv.org/abs/2104.03097

參考鏈接：

https://drinkingcoder.github.io/publication/life/

（聲明：本文僅代表作者觀點，不代表新浪網立場。）