來源:Web3天空之城
Web3天空之城城主:
黃教主今天上午做的演講,全網首發視頻完整版和圖文完整版。Enjoy!
您對來到拉斯維加斯感到興奮嗎?您喜歡我的夾克嗎?我想我會選擇和蓋瑞·夏皮羅不同的方向。我畢竟在拉斯維加斯。如果這行不通,如果你們所有人都不贊同……好吧,那就習慣它吧。
我真的覺得你們需要好好消化一下。大概再過一個小時左右,你們就會感覺很好了。歡迎來到英偉達。事實上,您現在身處英偉達的數字孿生體中。我們將帶您前往英偉達。女士們,先生們,歡迎來到英偉達。您現在位于我們的數字孿生體中。這里的一切都是由人工智能生成的。
人工智能的歷程非凡,這一年也非凡。這要追溯到1993年。準備好了嗎?開始!使用NV1,我們希望制造出能夠完成普通計算機無法完成任務的計算機。NV1使得在你的PC中擁有一個游戲主機成為可能。
我們的編程架構被稱為UDA。U-D-A。直到稍后一段時間才加上字母C。但是UDA,統一設備架構(Unified Device Architecture)。UDA的第一個開發者,以及第一個在UDA上運行的應用程序,是世嘉的《虛擬戰士》。
六年后,我們在1999年發明了可編程GPU。它開啟了20多年,20多年來,在這個被稱為GPU的不可思議的處理器上取得了令人難以置信的進步。它使現代計算機圖形成為可能。如今,30年后,世嘉的《虛擬格斗》完全達到了電影級的畫面。這就是即將推出的全新《虛擬格斗》項目。我簡直等不及了。簡直令人難以置信。
六年后,也就是1999年之后,我們發明了CUDA,從而能夠向豐富的算法集合展現GPU的可編程性。 最初,CUDA難以解釋,這花費了數年時間,大約六年。
六年后,2012年,Alex Krzyzewski、Ilya Suskevor和Jeff Hinton利用CUDA處理AlexNet,人工智能發展由此進入新的階段。
從感知型人工智能(理解圖像、文字和聲音)到生成式人工智能(生成圖像、文本和聲音),再到如今能夠感知、推理、規劃和行動的代理型人工智能,發展速度驚人。 我們今晚將討論其中一部分——物理人工智能,其發展始于2012年。
2018年,谷歌發布Transformer模型BERT,人工智能領域迎來了真正的騰飛。Transformer徹底改變了人工智能領域,甚至整個計算領域的格局。我們認識到,Transformer驅動的機器學習將從根本上改變計算方式,而非僅僅帶來新的商業機會。
如今,計算的每個層面都發生了革命性的變化,從手工編寫在CPU上運行的指令到創建人類使用的軟件工具,機器學習可以創建和優化在GPU上運行的神經網絡,從而創造人工智能。技術棧的每一層都發生了徹底的改變,僅僅12年就發生了不可思議的轉變。
現在,我們可以理解幾乎任何形式的信息,包括文本、圖像、聲音、氨基酸和物理學知識,并進行翻譯和生成。應用幾乎是無限的,其核心都基于三個基本問題:輸入是什么模態學習的?它翻譯成了什么形式的信息?它正在生成什么形式的信息?
機器學習改變了每一個應用程序的構建方式、計算方式以及超越這些的可能性。GPU、GeForce以及所有與AI相關的技術,都是AI普及的基礎,而如今,AI正回歸GeForce。
有很多事情無法在沒有AI的情況下完成,讓我向您展示其中一些。例如,實時計算機圖形學。在過去,沒有任何計算機圖形學研究人員或計算機科學家能夠對每個像素進行光線追蹤,而光線追蹤是對光的模擬。 畫面中幾何體的數量令人難以置信,沒有人工智能,這是不可能實現的。
我們做了兩件根本性的事情:使用可編程著色和光線追蹤加速生成美麗的像素;然后讓人工智能控制像素生成,大量生成其他像素。AI能夠在空間上生成其他像素,因為它知道顏色應該是什么,它已經在英偉達的超級計算機上進行了訓練,因此在GPU上運行的神經網絡可以推斷和預測我們沒有渲染的像素。 這就是DLSS技術。最新一代的DLSS還能生成超出幀數的畫面,甚至可以預測未來畫面,為每一幀生成三幀額外的畫面。
您看到的畫面,例如四幀畫面,實際上我們只渲染了一幀,其余三幀由AI生成。以全高清或4K顯示四幀畫面,大約有3300萬像素,而我們只計算了兩百萬像素。通過計算這兩百萬像素,并讓AI預測其余的3100萬像素,我們實現了極高的渲染性能,這堪稱奇跡。AI的計算量要少得多,當然,這需要大量的訓練,但一旦訓練完成,生成效率非常高。
這就是人工智能令人難以置信的能力之一,它正在徹底改變GeForce。今天,我們宣布推出下一代產品——RTX Blackwell系列。這是我們全新的GeForce RTX 50系列Blackwell架構,這款GPU擁有920億個晶體管,4000個頂點著色器,四千萬億次人工智能浮點運算(比上一代AIDA高出三倍),以及380萬億次光線追蹤浮點運算,還有125個著色器TFlops,以及性能相同的整數單元,兩個雙著色器(一個用于浮點運算,一個用于整數運算),來自美光的G7內存,帶寬達1.8TB/s,是上一代產品的兩倍。
我們現在能夠混合AI工作負載和計算機圖形工作負載。本代產品最令人驚奇之處在于,可編程著色器現在也能處理神經網絡。著色器能夠承載這些神經網絡,從而實現了神經紋理壓縮和神經材質著色,最終獲得令人驚艷的圖像效果,這完全得益于AI對紋理和壓縮算法的學習。這就是全新的RTX Blackwell 5090。
即使是機械設計也令人嘆為觀止,它配備了雙風扇,整張顯卡就是一個巨大的散熱器。電壓調節器設計也達到了目前最先進的水平。工程團隊為此付出了巨大的努力。
RTX 4090售價1599美元,許多人都擁有它,這是非常超值的投資,能夠大幅提升價值10000美元的PC性能。它采用液冷散熱,并配備炫酷的燈光效果。
現在,Blackwell家族的RTX 5070售價僅為549美元,卻擁有4090的性能。這得益于四個頂級的、四個萬億次運算的AI張量核心和G7內存。
5090的性能是4090的兩倍。我們從一月份開始大規模生產,并成功地將這些強大的GPU應用于筆記本電腦中。這款1299美元的5070筆記本電腦擁有4090的性能。
我們能夠將Blackwell顯卡縮小并集成到筆記本電腦中,這主要得益于AI技術。我們利用張量核心生成大部分像素,僅對需要的像素進行光線追蹤,并使用人工智能生成其余像素,從而實現了非凡的能量效率。計算機圖形學的未來是神經渲染。
人工智能與計算機圖形學的融合令人驚嘆。
這是一場精彩的主題演講,我們將介紹令人驚嘆的全新GPU系列:RTX Blackwell系列。5090甚至可以集成到纖薄的筆記本電腦中,例如厚度僅為14.9毫米的筆記本電腦。此外,還有5080、5070 Ti和5070型號。GeForce將AI帶給大眾,而如今AI正徹底改變著GeForce。
讓我們深入探討人工智能。行業正競相擴展人工智能的規模,而規模法則是一個強大的模型。大量研究人員和業內人士觀察并證明了這一點:數據越多、模型越大、計算能力越強,模型就越有效。規模定律仍在持續發揮作用?;ヂ摼W每年產生的數據量都在翻倍,未來幾年人類產生的數據量將超過自人類誕生以來的總和。這些數據正變得多模態,包括視頻、圖像和聲音,為AI的基礎知識奠定基礎。
除了原始規模定律,還有兩個規模定律出現:訓練后規模定律和合成數據生成。訓練后規模定律利用強化學習和人工反饋等技術,AI根據人類反饋改進自身技能,類似于人類在學業完成后得到導師反饋并改進的過程。合成數據生成則類似于自我練習,AI通過不斷嘗試解決可驗證的復雜問題來改進自身。這些后訓練技術需要大量計算,但最終能產生令人難以置信的模型。
我們現在有了第三個規模法則,它與測試時縮放有關。測試時縮放是指AI在使用過程中,能夠靈活分配計算資源,不再僅僅改進參數,而是專注于決定使用多少計算資源來生成答案。推理和長期思考是兩種實現方式,AI系統可能將問題分解成多個步驟,產生多個想法并進行評估,最終選擇最佳方案。測試時縮放已被證明極其有效。
從ChatGPT到O1、O3再到Gemini Pro,這一技術序列的令人難以置信的成就,展現了所有這些縮放定律的出現。所有這些系統都經歷了預訓練、后訓練和測試時縮放的過程。這需要大量的計算,我們希望社會能夠擴展計算能力,以產生更優越的智能,解決更多挑戰性問題。
規模定律推動了對英偉達計算,特別是Blackwell芯片的巨大需求。Blackwell目前已全面投產,由約15家計算機制造商提供200多種不同配置的系統,采用液冷、風冷等多種冷卻方式,并支持多種CPU和NVLink配置,以滿足全球數據中心的需求。這些系統目前在約45家工廠生產,反映了人工智能的普及程度和各行業對人工智能的轉向。
我們如此努力地推動這項技術,是因為我們需要更多的計算能力。 這就像……珍妮? 我不知道,我很難說……你永遠不想把手伸到黑暗的地方……好吧。等著瞧。等著瞧。我以為我值得??磥恚s尼爾認為我不夠格。好吧。這是我的展示。這是一個展示。
這個NVLink系統,GB200,NVLink 72,重達1.5噸,包含60萬個零件,相當于20輛汽車,功率為120千瓦。
它有一個背板,連接所有這些GPU,兩英里長的銅纜,5000根電纜。這種產品正在全球45家工廠生產。我們制造它們,用液體冷卻它們,測試它們,拆卸它們,并將它們以部件的形式運送到數據中心,因為它們重達一噸半。我們在數據中心外部重新組裝并安裝它們。生產規模令人難以置信。
但這一切的目標是,由于規模定律正在推動計算如此之快,以至于Blackwell與我們上一代相比,這種級別的計算使每瓦性能提高了四倍,每美元性能提高了三倍。這意味著在一代人的時間里,我們將這些模型的訓練成本降低了三倍,或者,如果你想將模型的大小增加三倍,成本大致相同。重要的是,這些是我們在使用ChatGPT或Gemini以及將來使用手機時都會使用的生成token,幾乎所有這些應用程序都將消耗這些AItoken,而這些AItoken是由這些系統生成的。每個數據中心都受到功率的限制,因此,如果Blackwell的每瓦性能是上一代的四倍,那么數據中心可以產生的收入、可以產生的業務量將增加四倍。所以,這些AI工廠系統如今確實就是工廠。
現在,所有這一切的目標就是為了創造一個巨大的芯片。我們需要的計算量確實非常驚人。這基本上就是一個巨大的芯片。如果我們不得不去制造一個芯片……對不起,各位。你們看到了嗎?太酷了??纯催@個,這里有迪斯科燈。如果我們必須把它做成一個芯片,很顯然,它會有晶圓那么大,但這還不包括良率的影響,它可能需要三到四倍那么大。但我們這里基本上有72個Blackwell GPU或144個芯片。這個芯片的算力是1.4exaflops。世界上最大、最快的超級計算機,直到最近才……整個房間的這臺超級計算機直到最近才達到1艾弗洛普以上。這是1.4exa flops的AI浮點運算性能。
它有14太字節的內存,內存帶寬為每秒1.2 PB。這基本上就是現在整個互聯網的流量,全世界的互聯網流量都在這些芯片上處理。我們總共有130萬億個晶體管,2592個CPU核心,以及大量的網絡設備。所以這些……我希望我能做到這一點。我想我做不到。所以這些是Blackwells,這些是我們的ConnectX網絡芯片,這些是NVLink,我們試圖掩蓋NVLink主干的存在,但這不可能。這些都是HBM內存,總共14太字節的HBM內存。
這就是我們正在努力實現的目標,一個奇跡,Blackwell系統的奇跡。Blackwell芯片是目前世界上最大的單芯片。但這并非奇跡的全部,它是Grace Blackwell系統。所有這一切的目標,是為了讓我們能夠……
謝謝。謝謝。請問有椅子可以讓我坐一會兒嗎?可以給我一杯米勒醇爽啤酒嗎?我們竟然在米勒醇爽啤酒體育場,真是不可思議!這就像來到英偉達卻沒拿到顯卡一樣。
我們需要大量的計算能力,因為我們想要訓練越來越大的模型。以往的推理只是一次性的,但未來,人工智能將能夠進行自我對話,進行思考,進行內部反思和處理?,F在,token生成速度為每秒20到30個,與人類閱讀速度相當。但未來,有了GPT-o1、Gemini Pro和O1、O3等新模型,它們能夠進行自我對話和反思,思考問題。因此,token的攝入速度將大幅提高,我們需要大幅提升token生成速率。同時,我們必須大幅降低成本,才能提供卓越的服務質量,保持客戶成本的持續低廉,并確保人工智能的持續擴展。這就是根本目的,也是我們創建NBLink的原因。
在企業領域,自主式人工智能是最重要的發展之一。自主式人工智能是測試時擴展的完美例子。它是一個模型系統,一部分是理解和與客戶/用戶互動,一部分可能是檢索信息,像抹布一樣的語義AI系統。它可能訪問互聯網,學習PDF文件,使用工具、計算器,或使用生成式AI生成圖表等。它會迭代,將問題分解成一步步的步驟,并迭代所有不同的模型。過去,你提出問題,答案就會涌現出來。未來,你提出問題,后臺將有一大堆模型在工作。因此,推理所需的計算量將急劇增加,因為我們追求越來越好的答案。
為了幫助行業構建自主智能體AI,我們的市場策略并非直接面向企業客戶,而是與IT生態系統中的軟件開發者合作,將我們的技術整合到他們的產品中,從而實現新的功能,就像我們之前與CUDA庫的合作一樣?,F在,我們希望將同樣的方法應用于AI庫。
就像過去的計算模型擁有用于計算機圖形學、線性代數或流體力學的API一樣,未來,在CUDA加速庫之上,將會有AI庫。
我們已創建三樣工具來幫助生態系統構建自主智能體AI:NVIDIA NIMS、NVIDIA NEMO和一系列開源藍圖。
NVIDIA NIMS本質上是一套打包好的AI微服務,包含CUDA DNN、Cutlass、Tensor RTLM或Triton等復雜的CUDA軟件,以及經過打包和優化的模型,可部署到任何地方。這些模型涵蓋視覺、語言理解、語音、動畫、數字生物學等領域,并即將推出物理AI模型。由于NVIDIA GPU已廣泛應用于各大云平臺和原始設備制造商(OEM),這些AI模型可在任何地方運行,方便用戶集成到自身軟件中,創建可在Cadence、ServiceNow或SAP等平臺上運行的AI代理。
NVIDIA NEMO是一個數字員工入職和培訓評估系統。未來的AI代理將如同數字員工隊伍,與人類員工協同工作。NEMO提供各種庫,幫助AI代理接受針對公司特定語言、業務流程和工作方式的培訓。通過展示工作成果示例、接收反饋和評估,可以對AI代理進行防護,設定其行為規范和信息訪問權限。
因此,未來很多公司的IT部門將成為AI代理的HR部門,負責維護、培育、入職和改進大量的數字代理。
此外,我們還提供大量完全開源的藍圖,涵蓋各種不同類型的代理,供生態系統使用和修改。
今天,我們將宣布一些令人興奮的新功能。
我們發布了一個基于 NVIDIA LLAMA Nemotron 語言基礎模型的完整模型家族。LLAMA 3.1 現象級成功,Meta 下載次數約 65 萬次,并被衍生出約 6 萬個不同的模型,推動了幾乎所有企業和行業投入 AI 工作。
我們發現 LLAMA 模型可針對企業用途進行更好的微調,因此我們利用自身專業知識和能力對這些模型進行了微調,并將其轉變為 LLAMA Nemotron 開放模型套件。套件中包含一些極其小巧,響應速度極快的模型,我們稱之為超級 LLAMA Nemotron 超級模型,它們是主流模型版本。超大型模型則可作為許多其他模型的教師模型,例如獎勵模型、評估器或裁判,為其他模型提供反饋,并通過多種方式進行蒸餾。這個強大而大型的知識蒸餾模型現已上線。
這些模型在聊天排行榜、指令排行榜和檢索排行榜上均排名第一,涵蓋人工智能代理所需的各種功能。我們還與生態系統合作伙伴緊密合作,將所有 NVIDIA AI 技術融入 IT 行業。ServiceNow、SAP 和西門子在工業 AI 領域取得了顯著成果,Cadence 和 Synopsys 也表現出色。我們與 Perplexity 的合作也令人自豪,他們徹底改變了搜索方式。
面向全球軟件工程師的 Codium,將成為下一個大型 AI 應用,軟件編碼將是下一個大型 AI 服務領域。全球有 3000 萬軟件工程師,每個人都將擁有一個編碼助手,否則生產效率和代碼質量都會顯著下降。
全球有 10 億知識工作者,AI 智能體很可能成為下一個萬億美元級產業,它將是新的數字勞動力,為我們工作并與我們一起工作。
AI智能體是一個能夠推理任務、將其分解成子任務,并檢索數據或使用工具來生成高質量響應的模型系統。英偉達的自主式AI構建模塊、NIM預訓練模型和NEMO框架使組織能夠創建和管理他們自己的模型,輕松開發AI智能體并在任何地方部署它們。我們將像對待員工一樣,對我們的代理勞動力進行入職培訓和技能培訓。AI代理是特定領域的專家。
以下是一些例子:AI研究助理代理可以幫助數十億的知識工作者和學生處理復雜的文檔(如講座、期刊、財務結果),并生成交互式播客以方便學習;Corda通過結合U-net回歸模型和擴散模型,將全球天氣預報的分辨率從25公里降低到2公里;軟件安全AI代理持續掃描軟件中的漏洞,并提醒開發人員采取必要措施;虛擬實驗室AI代理幫助研究人員設計和篩選數十億種化合物,以更快地找到有希望的候選藥物。
基于NVIDIA Metropolis藍圖構建的NVIDIA分析AI代理,包括NVIDIA Cosmos Nematron視覺語言模型、Lama Nematron大型語言模型和NEMO Retriever,分析來自數十億個攝像機每天生成的10萬PB視頻數據。它們支持交互式搜索、摘要和自動化報告,并有助于監控交通流量,標記擁堵或危險情況;在工業設施中,它們監控流程并生成改進建議,并在發生事件時重新分配工人或機器人。
代理式AI的時代已經到來,惠及每個組織。AI是在云中創建的,也是為云而創建的,當然,在手機上使用AI也同樣完美。很快,我們將擁有一個持續陪伴您的AI,并且當您使用元眼鏡時,可以指向或觀察某物,并詢問任何您想要的信息。因此,人工智能在云端是完美的,在云端創建的東西在云端也運行完美。然而,我們希望能夠將人工智能帶到任何地方,將其部署到任何云端,公司內部,甚至個人電腦上。
Windows 95徹底改變了計算機行業,引入了全新的多媒體服務,并永久性地改變了應用程序的開發方式。然而,這種計算模型并非人工智能的理想環境。
我們希望未來,人工智能能夠成為用戶的AI助手。這需要超越單純的3D、聲音和視頻API,轉向生成式API:用于3D、語言、聲音等等。 這需要一個能夠利用云計算巨大投資的系統。 開發另一種人工智能模型的編程方式是不現實的。
因此,如果能將Windows PC打造成世界一流的AI PC,將意義非凡。答案是Windows WSL 2。WSL 2在一個系統中運行兩個操作系統,運行流暢,專為開發者設計,并提供對裸機的訪問權限。它針對云原生應用程序和CUDA進行了優化,能夠完美支持CUDA。
因此,我們展示的所有內容,包括NVIDIA NIMS、NVIDIA NEMO以及將在ai.nvidia.com發布的藍圖,都可在符合要求的電腦上運行。 我們將提供各種視覺、語言、語音以及數字人物模型等,用戶只需下載即可運行。
我們的重點是將Windows WSL 2和Windows PC打造成為一流的目標平臺,并提供長期支持和維護。這對全球工程師和開發者來說都將是一件意義重大的事情。
以下是一個例子:生成式AI可以根據簡單的文本提示合成圖像。但僅靠文字控制圖像構成可能存在挑戰。使用NVIDIA NIM微服務,創作者可以使用簡單的3D對象指導AI圖像生成。概念藝術家可以使用3D資產(手工創建或AI生成)來指導圖像生成NIM(例如Flux),從而創建與3D場景相符的視覺效果。
添加或移動對象以細化構圖,更改攝像機角度以拍攝完美的鏡頭,或使用新的提示重新構想整個場景。借助生成式AI和NVIDIA NIM,藝術家可以快速實現他們的創意。用于您PC的NVIDIA AI,已準備好應用于全球數億臺安裝了Windows的PC。我們合作的所有PC原始設備制造商(OEM),也就是全球所有領先的PC原始設備制造商,都將為這個堆棧做好他們PC的準備。因此,AI PC即將來到您家附近。
Linux很好。讓我們談談物理AI。想象一下,您的大型語言模型:將上下文和提示放在左邊,它一次生成一個詞元來產生輸出。這基本上就是它的工作原理。中間的這個模型相當龐大,擁有數十億個參數,上下文長度非常長,因為您可能決定加載一個PDF文件,甚至多個PDF文件后再提出問題。這些PDF文件被轉換成詞元。注意力機制,也就是Transformer的基本注意力特性,讓每一個詞元都找到它與其他每個詞元之間的關系和關聯。因此,您可能擁有數十萬個詞元,計算負載呈二次方增長。它會處理所有參數、所有輸入序列,將其通過Transformer的每一層,并產生一個詞元。這就是我們需要Blackwell的原因。然后,當前令牌處理完成后就會生成下一個令牌。它將當前令牌放入輸入序列中,然后利用整個序列生成下一個令牌。它一次只處理一個令牌。這就是Transformer模型,也是它如此高效,同時又如此耗費計算資源的原因。
如果不是PDF,而是您的周圍環境呢?如果不是提示或問題,而是一個請求呢?例如,“去那邊拿起那個盒子,然后把它拿回來”。而且,它生成的不是文本令牌,而是動作令牌。我剛才描述的,正是機器人未來發展的一個非常合理的場景。這項技術即將到來。但我們需要做的,是創建一個有效的、世界模型,與GPT這種語言模型相對。這個世界模型必須理解世界的語言,理解物理動力學(比如重力、摩擦力和慣性),理解幾何和空間關系,理解因果關系(如果你扔下什么東西,它就會落到地上;如果你戳它一下,它就會倒),以及客體永久性(如果你把一個球滾過廚房的柜臺,當它滾到另一邊時,球并沒有進入另一個仍然存在的量子宇宙)。
所有類型的直覺理解,都是當前大多數模型難以實現的。因此,我們需要一個世界基礎模型。
今天,我們宣布推出NVIDIA Cosmos,一個旨在理解物理世界的世界基礎模型。其效果,唯有親眼目睹才能真正理解。
NVIDIA Cosmos是一個世界基礎模型開發平臺,旨在推動物理AI發展。它包含自回歸世界基礎模型、基于擴散的世界基礎模型、高級分詞器以及NVIDIA CUDA數據管道。該模型能夠攝取文本、圖像或視頻提示,并生成虛擬世界狀態視頻。
Cosmos優先考慮AV和機器人用例的獨特需求,例如真實世界環境、照明和物體持久性。開發者使用NVIDIA Omniverse構建基于物理的、地理空間精確的場景,然后將Omniverse渲染輸出到Cosmos,后者生成逼真的、基于物理的合成數據,涵蓋不同的物體、環境以及天氣、時間或極端情況等條件。
開發者可以使用Cosmos為強化學習AI反饋生成世界,用于改進策略模型,或測試和驗證模型性能,甚至跨多傳感器視圖進行測試。Cosmos可以實時生成令牌,為AI模型帶來預見性和多宇宙模擬能力,生成所有可能的未來以幫助模型選擇正確的路徑。
NVIDIA與全球開發者生態系統合作,推動下一波物理AI發展。NVIDIA Cosmos,全球首個世界基礎模型,利用2000萬小時的視頻進行訓練。這些視頻重點關注物理動態事物,例如動態自然主題、人類行走、手部移動、操作物體以及快速攝像機運動場景。
其核心在于教AI理解世界,而非生成創意內容,目標是讓AI理解物理世界。通過物理AI,我們可以生成合成數據來訓練模型,對其進行蒸餾,將其轉化為機器人模型的種子,并生成多個基于物理、物理上合理的未來場景,模擬“奇異博士”的場景。因為這個模型理解物理世界。
它可以進行字幕制作,拍攝視頻并制作高質量字幕,這些字幕和視頻可用于訓練大型語言模型,特別是多模態大型語言模型。 利用這項技術和基礎模型,可以訓練機器人和大型語言模型。這就是英偉達宇宙(NVIDIA Cosmos)。
該平臺包含一個用于實時應用的自回歸模型、一個用于生成超高質量圖像的擴散模型、一個學習了現實世界詞匯的強大標記器,以及一個端到端CUDA加速和AI加速的數據處理管道,用于處理大規模數據并進行模型訓練。這是世界上第一個此類數據處理管道,所有這些都是Cosmos平臺的一部分。
今天,我們宣布Cosmos采用開放許可,并在GitHub上開放。我們希望這個包含小型、中型和大型模型(快速模型、主流模型和教師模型,即知識遷移模型)的平臺,能像LLAMA3改變企業AI一樣,改變機器人和工業AI領域。
將Cosmos連接到Omniverse后,其魔法便顯現。Omniverse是一個基于算法物理學、遵循物理原理的仿真系統,即模擬器。它為Cosmos提供真實依據,使Cosmos生成的輸出更可靠,這與將大型語言模型連接到檢索增強生成系統(RAG)的理念相同,都是為了使AI生成內容建立在真實依據之上。兩者結合,形成一個物理模擬的、基于物理的多元宇宙生成器,其應用前景非常廣闊,尤其在機器人技術和工業應用領域。
Cosmos加上Omniverse,再加上Cosmos本身,構成了構建機器人系統所需的第三臺計算機。每個機器人公司最終都需要三臺計算機:一臺用于訓練AI的DGX計算機;一臺用于部署AI的AGX計算機,部署在汽車、機器人、自動移動機器人(AMR)等各種邊緣設備中,實現自主運行。
連接兩者需要一個數字孿生,它正是所有模擬的基礎。數字孿生是訓練好的AI進行實踐、改進、合成數據生成、強化學習和AI反饋等操作的場所,因此它是AI的數字孿生。這三臺計算機將交互式工作,這套三機系統正是英偉達針對工業世界的戰略,我們已討論多時。與其說是“三體問題”,不如說是“三體計算機解決方案”,它是機器人領域的英偉達。
讓我舉例說明。首先,我們如何將這些應用于工業數字化?數百萬家工廠和數十萬個倉庫構成了50萬億美元制造業的支柱,所有這些都必須實現軟件定義和自動化,并融入機器人技術。我們正與全球領先的倉庫自動化解決方案提供商KION以及全球最大的專業服務提供商埃森哲合作,他們高度關注數字制造,我們正共同努力創造一些特別的東西。我將立即演示。我們的市場策略與其他所有軟件和技術平臺相同,都是通過開發者和生態系統合作伙伴實現的,而與Omniverse連接的生態系統合作伙伴數量持續增長。原因很簡單:每個人都想將產業的未來數字化,在全球GDP的50萬億美元中,存在大量浪費和自動化機會。
讓我們看看與凱傲集團(KION)和埃森哲的合作案例。凱傲集團(一家供應鏈解決方案公司)、埃森哲(一家全球領先的專業服務公司)以及英偉達,正將物理人工智能引入價值一萬億美元的倉庫和配送中心市場。管理高性能倉庫物流需要應對復雜的決策網絡,這些決策受每日和季節性需求變化、空間限制、勞動力可用性和各種機器人及自動化系統集成的影響。而預測物理倉庫的運營KPI在今天幾乎是不可能的。
為了應對這些挑戰,KION正在采用MEGA,這是一個NVIDIA Omniverse藍圖,用于構建工業數字孿生體以測試和優化機器人車隊。KION的倉庫管理解決方案將任務分配給數字孿生體中的工業AI大腦,例如將貨物從緩沖區位置移動到穿梭式存儲解決方案。機器人的大腦位于物理倉庫的模擬環境中,使用OpenUSD連接器將其數字化到Omniverse中,以將CAD、視頻和圖像聚合到3D、激光雷達到點云以及AI生成的數據。機器人車隊通過感知和推理其Omniverse數字孿生環境來執行任務,規劃其下一個動作并采取行動。
機器人的大腦通過傳感器模擬結果狀態,并據此決定下一步動作。MEGA精確追蹤數字孿生體中所有事物的狀態,并持續循環運行。現在,KION能夠大規模模擬無限場景,同時測量運營KPI,例如吞吐量、效率和利用率,所有這些都在將更改部署到物理倉庫之前完成。KION、英偉達和埃森哲正攜手重塑工業自動化。
一切都在模擬中進行。未來,每個工廠都將擁有一個與真實工廠運作方式完全相同的數字孿生體。事實上,您可以使用Omniverse和Cosmos生成大量未來場景,然后由人工智能選擇對任何KPI最優的場景,這將轉化為部署到真實工廠中的AI程序或編程約束。
另一個例子是自動駕駛汽車。自動駕駛革命已經到來,在Waymo和特斯拉的成功推動下,多年發展后,自動駕駛汽車的到來已成定局。我們為該行業提供的產品包括三臺計算機:用于訓練AI的訓練系統、模擬系統和合成數據生成系統(Omniverse和Cosmos),以及車內計算機。每家汽車公司與我們的合作方式可能有所不同,可能使用一臺、兩臺或三臺計算機。
我們幾乎與全球所有主要的汽車公司都有合作,包括Waymo、Zooks和特斯拉的數據中心,比亞迪(全球最大的電動汽車公司),以及即將推出新款配備英偉達技術的捷豹路虎汽車,梅賽德斯-奔馳今年也將投產配備英偉達技術的汽車車隊。我很高興地宣布,豐田和英偉達今天將攜手合作,共同打造下一代自動駕駛汽車。還有許多優秀公司,例如Lucid、Rivian、小米和沃爾沃等。Wabi正在研發自動駕駛卡車,我們本周還宣布Aurora將使用英偉達的技術研發自動駕駛卡車。
全球每年生產1億輛汽車,道路上行駛的汽車有10億輛,每年行駛里程達萬億英里,所有這些汽車都將實現高度自動駕駛,甚至即將實現完全自動駕駛。這將是一個極其龐大的產業,我預測這很可能是第一個萬億美元級的機器人產業。我們的業務,請注意,僅僅是這些開始投產的汽車中的一部分,規模就已經達到40億美元,今年的運行速度可能約為50億美元。
今天,我們宣布我們下一代汽車處理器——Thor。
這是Thor,一款機器人電腦,它接收并處理來自大量傳感器的信息,包括無數個高分辨率攝像頭、雷達和激光雷達。該芯片將傳感器數據轉換成標記,放入轉換器并預測下一條路徑。這款自動駕駛電腦現已全面投產。
Thor的處理能力是上一代Orin的20倍,而Orin是目前自動駕駛車輛的行業標準。Thor已全面投產,并廣泛應用于各種機器人,例如自主移動機器人(AMR),可作為機器人或機械手的大腦。它是一款通用的機器人計算機。
我們DRIVE系統的第二部分,也是我引以為傲的部分,是對安全的專注。DRIVE OS是首個獲得ASIL-D認證的軟件定義的可編程AI計算機,ASIL-D是汽車功能安全領域的最高標準。這是大約15000個工程師年努力的結果,因此CUDA現在是一個功能安全可靠的計算機。
接下來,我想向大家展示如何在自動駕駛汽車的背景下使用Omniverse和Cosmos。我將展示如何利用AI自動重建數字孿生體,并以此來訓練未來的AI模型。
自動駕駛汽車革命已經到來。建造自動駕駛汽車需要三臺計算機:NVIDIA DGX用于訓練AI模型;Omniverse用于測試駕駛和生成合成數據;以及車載超級計算機AGX。合成數據對于訓練至關重要,因為現實世界的數據有限。NVIDIA Omniverse、AI模型和Cosmos共同構建自動駕駛車輛數據工廠,生成合成駕駛場景,從而大幅提升訓練數據量。Omnimap融合地圖和地理空間數據以構建可行駛的3D環境,駕駛場景變化則可通過回放駕駛日志或AI交通生成器生成。
神經重建引擎利用自動駕駛汽車傳感器日志創建高保真4D仿真環境,通過回放3D駕駛過程并生成場景變化來擴充訓練數據。Edify 3DS自動搜索或生成資產,創建可用于仿真的場景。Omniverse場景用于訓練Cosmos生成海量逼真數據,縮小仿真與現實間的差距,并通過文本提示生成幾乎無限的駕駛場景變化。
Cosmos Nemotron VideoSearch整合海量合成數據集和記錄的駕駛數據來訓練模型。NVIDIA的AI數據工廠將數百個驅動器的數百萬英里數據擴展到數十億有效英里,為安全和先進的自動駕駛設定了新標準。
我們將數千次駕駛數據轉化為數十億英里,擁有大量的自動駕駛車輛訓練數據,當然,這需要持續的實際道路測試和數據收集。利用基于物理的多宇宙能力生成合成數據,確保訓練AI的數據具有物理基礎、準確且合理,從而獲得海量訓練數據。
自動駕駛行業已經到來,未來幾年將見證其飛速發展。機器人技術領域,特別是人形機器人和通用機器人技術,即將迎來ChatGPT時刻般的突破。
使能技術將推動通用機器人技術在未來幾年取得令人驚訝的快速發展。通用機器人技術的重要性在于,它能創造出無需特殊環境就能適應“棕色地帶”的機器人。
這三種機器人是:自主機器人和自主AI(信息工作者);自動駕駛汽車(適應已建成的道路和城市);人形機器人。如果我們擁有解決這三項問題的技術,這將是世界上規模最大的技術產業。
因此,我們認為機器人時代即將到來。關鍵在于如何訓練這些機器人,而對于人形機器人而言,模仿信息的收集尤其困難,因為汽車只需駕駛即可收集數據。
我們一直在探索人形機器人的運動學習。直接模仿人類演示對機器人來說效率低下,因此我們需要一種巧妙的方法,利用少量的人類演示數據,通過人工智能和Omniverse合成生成海量合成運動數據,從而讓AI學習執行任務。
全球開發者正致力于構建新一代物理形態的人工智能機器人,即人形機器人。然而,開發通用型機器人模型需要大量真實世界數據,而數據的采集和整理成本高昂。NVIDIA Isaac Groot應運而生,它為開發者提供了機器人基礎模型、數據管道、仿真框架和Thor機器人計算機,以應對這些挑戰。
NVIDIA Isaac Groot合成運動生成的藍圖是一個基于模仿學習的仿真工作流程,能夠從小數量的人類演示中生成指數級的大型數據集。首先,Groot Teleop允許操作員使用Apple Vision Pro進入機器人的數字孿生體,即使沒有物理機器人也能捕獲數據,并在安全環境中操作,避免物理損壞。操作員通過少量遙操作演示捕獲運動軌跡,然后使用Groot Mimic將其擴展到更大的數據集。接著,他們使用基于Omniverse和Cosmos構建的Groot Gen進行領域隨機化和3D到現實的升級,生成指數級更大的數據集。Omniverse和Cosmos多元宇宙模擬引擎提供大規模數據集來訓練機器人策略。最后,在將策略部署到真實機器人之前,開發人員可以在IsaacSim中進行軟件在環測試和驗證。
通用機器人的時代正在到來,NVIDIA Isaac Groot將為其提供海量數據(維權)支持,加速通用機器人發展。它為機器人行業提供了關鍵技術元素。
我還想向大家展示一項技術,如果沒有大約十年前啟動的Digits項目(公司內部稱之為深度學習GPU智能訓練系統),這一切都將不可能實現。在推出之前,我們將其簡化為DGX,并使其與RTX、AGX、OVX以及公司其他X系列產品相協調。DGX-1徹底改變了人工智能。
我們研發這款產品,旨在為研究人員和初創公司提供一款開箱即用的AI超級計算機。過去,超級計算機的構建需要自行建造設施、搭建基礎設施并進行復雜的系統設計。而我們為研究人員和初創公司打造的這款AI超級計算機,真正實現了開箱即用。2016年,我們向OpenAI公司交付了第一臺DGX-1,埃隆·馬斯克、伊利亞及眾多工程師見證了這一時刻,DGX-1徹底改變了人工智能計算。
如今,人工智能已無處不在,不再局限于研究人員和初創公司的實驗室。正如演講伊始所言,我們希望人工智能成為一種新的計算方式,一種編寫軟件的新方法。每一位軟件工程師、工程師、創意藝術家,以及所有使用計算機作為工具的人,都需要一臺人工智能超級計算機。因此,我們希望DGX-1能更小巧一些。
女士們,先生們,這就是英偉達最新的AI超級計算機,目前代號為Project Digits項目。如果您有更好的命名建議,歡迎聯系我們。這款AI超級計算機運行著完整的NVIDIA AI軟件棧,包括所有NVIDIA軟件和DGX Cloud。它位于……某個地方,并通過無線連接或網絡連接至您的電腦,甚至可作為工作站使用。您可以像訪問云超級計算機一樣訪問它,并在其上運行NVIDIA的AI。
它基于我們研發的超級秘密芯片GB110,這是我們生產的最小型的Grace Blackwell芯片。這是其內部結構,它目前正在量產中。這款絕密芯片是我們在與聯發科合作中研發的Gray CPU,專為英偉達打造,并與全球領先的SoC公司聯發科合作完成。他們與我們共同開發了這款CPU SoC,并通過芯片到芯片的NVLink連接到Blackwell GPU。
這款小巧的設備目前正在全面生產中,預計將于五月左右上市。它即將問世,其功能令人難以置信。我一直在思考,究竟是需要更多的手還是更多的口袋?總之,誰不想要這樣一臺機器呢?
如果您使用PC或Mac,它就是一個運行在您桌面的云計算平臺,您可以將其用作Linux工作站。 如果您需要雙位數性能,只需使用ConnectX連接,它便具備Nickel、GPU Direct等功能,開箱即用,就像一臺超級計算機,所有超級計算堆棧都可用,例如英偉達Digits項目。
我曾提到過,我們正在生產三臺新的Blackwells超級計算機。Grace Blackwell超級計算機,配備NVLink72s,已在全球投入生產,我們現在擁有三套新的Blackwell系統。
一個令人驚嘆的AI基礎模型——世界首個物理AI基礎模型現已開放,可用于激活全球機器人等行業。另有三個機器人致力于自主AI(人類或機器人)和自動駕駛汽車。
這是令人難以置信的一年。感謝你們的合作與光臨。我制作了一個簡短的視頻,回顧過去一年并展望未來,現在播放。祝大家CES順利!新年快樂!謝謝!
責任編輯:尉旖涵
VIP課程推薦
APP專享直播
熱門推薦
收起24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)