轉自:星空財研
這樣的技術并沒有超越現有科技水平,但它確實是一次創新。它讓我們意識到,之前的 AI 繪畫模型可能走錯了方向。Sora 的成功告訴我們,將 AI 與游戲引擎相結合,可以實現更為高效和逼真的畫面生成。
一覺醒來,AI討論群里熱血沸騰。
一頭霧水的我看了數百條的聊天記錄,發現原來OpenAI發布了最新的視頻大模型Sora。
OpenAI的CEO奧特曼發布了一些演示視頻,眾所周知,當初谷歌演示的時候涉嫌造假,奧特曼干脆讓網友提需求,他即時生成。
截止現在(北京時間2月16日11點),一部分海外IP用戶反饋,已經可以在ChatGPT4上試用。
演示視頻顯示,60秒的一鏡到底,視頻中的女主角、背景人物,都達到了驚人的一致性,各種鏡頭隨意切換,人物都是保持了神一般的穩定性。
Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
我對 Sora 生成的畫面非常感興趣,尤其是它在不崩、不閃方面的表現。
確實,Sora 的出現為 AI 視頻領域帶來了新的突破,其生成的畫面質量令人印象深刻。
首先,我們來分析一下臉崩現象的原因。在目前的 AI 繪畫工具中,許多大模型在處理大幅畫面時,往往會遇到面部細節處理困難的問題。這是因為這些模型在訓練過程中,可能沒有接觸到足夠多的、具有大幅面畫面的訓練數據。因此,當它們面對實際問題時,就會出現細節處理不足的情況,也就是我們所說的“臉崩”。
此外,目前的 AI 大模型都是通過逐幀生成畫面,然后將這些畫面拼接成視頻。這種方法在畫面細節發生變化時,容易出現閃爍現象。這是因為每一幀的畫面都是獨立生成的,它們之間的差異會在視覺上形成閃爍效果。
然而,Sora 似乎成功地解決了這兩個問題。有分析人士認為,Sora 使用了游戲引擎。我對此表示認同。事實上,使用游戲引擎來生成視頻,可以有效地避免逐幀生成畫面再拼接的弊端。通過游戲引擎,可以實現更為連續和自然畫面生成,從而避免臉崩和閃爍現象。
英偉達高級科學家 Jim Fan 對 Sora 發表了一些觀點。他認為 Sora 是一個數據驅動的物理引擎,它可以對真實世界和虛構世界進行模擬。這種模擬器通過去噪和梯度學習方式,學習了復雜的渲染、直觀的物理、長期推理和語義理解。如果 Sora 真的使用了虛幻引擎 5 并接受了大量合成數據的訓練,那么它的表現就一點也不令人驚訝了。
在 ChatGPT 3.5 推出之前,ChatGPT 發布了幾個版本。盡管這些版本的表現令人驚艷,但它們的能力有限,并沒有引起廣泛關注。然而,ChatGPT 3.5 的推出讓一切都變了。它一炮走紅后,緊接著推出了付費的 4.0 版本。
與 ChatGPT 類似,Sora 的出現也讓人感到措手不及。就在不久前,大家還在為 AI 視頻去閃問題而努力。畢竟,我們都看過基于現有技術水平的論文,知道瓶頸在哪里,知道上限在哪里。然而,Sora 的出現就像是從天而降的天頂星科技,打破了我們的認知。
但是,如果 Sora 真的使用了游戲引擎,比如虛幻 5,那么這一切又都可以理解了。只能說之前的 AI 視頻走的是 AI 繪畫的老路,想當然地認為視頻等于繪畫逐幀疊加。Sora 巧妙地換了一條路,依然遵循 ChatGPT 的邏輯,用數據去驅動游戲引擎,再由游戲引擎生成畫面。
這樣的技術并沒有超越現有科技水平,但它確實是一次創新。它讓我們意識到,之前的 AI 繪畫模型可能走錯了方向。Sora 的成功告訴我們,將 AI 與游戲引擎相結合,可以實現更為高效和逼真的畫面生成。
隨著 Sora 的成功,我們可以預見,未來會有越來越多的 AI 大模型接入游戲引擎。這種結合將為繪畫大模型帶來降維打擊,讓它們在畫面生成方面面臨巨大的挑戰。不過,這也是 AI 技術發展的必然趨勢。只有不斷嘗試創新,才能推動技術的進步。
并非現實不存在了。
這,就是現實。
內容由AI生成
本文作者:天淵三,來源:星空財研,原文標題:《現實不存在了?不,這就是現實》
風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。
責任編輯:于健 SF069
VIP課程推薦
APP專享直播
熱門推薦
收起24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)