作者:趙雨荷
來源:硬AI
英偉達周二推出了一款名為Jetson Orin Nano Super的生成式AI超級計算機。英偉達CEO黃仁勛表示,這款開發者套件通過軟件升級實現了更高性能和更低價格,僅售249美元,尺寸小巧,可放在手掌中,可將生成式AI性能提高高達1.7倍。
該公司表示,這款產品適合商業AI開發者、愛好者和學生,與其前代產品相比,其生成式AI推理性能提升了1.7倍,性能提高了70%,每秒可以執行高達67萬億次的INT8運算(67 INT8 TOPS),內存帶寬也提升了50%,達到了102GB/s。
黃仁勛還特意為這款產品錄制了一段視頻,如同2021年發布Hopper H100時一樣,展現英偉達對這款產品的重視。在視頻中,黃仁勛表示,從Xavier開始,英偉達就創造了一種新的處理器,也就是機器人處理器,當時沒人知道他們在做什么。
他表示,無論是創建基于檢索增強生成(Retrieval-Augmented Generation, RAG)的大型語言模型(LLM)聊天機器人,構建視覺AI代理,還是部署基于AI的機器人,Jetson Orin Nano Super都是理想的選擇,這款套件都能以更低的成本提供強大的運算效能,主要由于產品支持低功耗設計,能以7瓦到25瓦的功耗運行,適合各種邊緣設備云算場景,無論是智能城市、智能農業還是機器人開發。
持續提升的性能和體驗
通過軟件更新,Jetson Orin Nano Super也將為已有Jetson Orin Nano開發者套件的用戶提升生成式AI性能。
黃仁勛表示,Jetson Orin Nano Super非常適合那些希望在生成式AI、機器人技術或計算機視覺領域發展技能的人士。在AI領域從任務專用模型向基礎模型轉變的趨勢下,它也為開發者提供了一個將創意變為現實的易用平臺。
為生成式AI提供強勁性能
Jetson Orin Nano Super性能增強,為所有流行的生成式AI模型,例如Meta的LLaMA、阿里巴巴的通義千問以及谷歌的Gemma。這款套件基于Transformer的計算機視覺模型帶來了顯著提升,進一步提升效能表現。
該公司表示,開發者套件包括一個Jetson Orin Nano 8GB 系統模塊(SoM)和一個參考載板,為邊緣設備AI應用的原型設計提供了理想平臺。
系統模塊采用NVIDIA Ampere架構GPU,配備張量計算核心(Tensor Cores)和6核 Arm CPU,能夠處理多個并行AI應用管道,并提供高性能推理能力。此外,它還支持最多四個攝像頭,分辨率和幀率均高于前代版本。
英偉達強調,隨著AI技術逐漸從云端走向終端,實體AI將是下一波發展重點,Jetson Orin Nano Super不僅可以用于開發聊天機器人,也適合簡歷視覺AI代理或部署AI機器人等應用。
廣泛的生成式AI軟件生態系統與社區
此外,英偉達Jetson AI實驗室提供對最新開源社區模型的支持,以及易于使用的教程。開發者還可以從更廣泛的Jetson社區獲得支持,并從其他開發者的項目中獲得靈感。
Jetson支持英偉達的AI軟件,包括用于機器人技術的NVIDIA Isaac、用于視覺AI的NVIDIA Metropolis和用于傳感器處理的NVIDIA Holoscan。通過NVIDIA Omniverse Replicator生成合成數據,以及使用NVIDIA TAO工具包微調來自NGC目錄的預訓練AI模型,開發時間可以大幅縮短。
Jetson生態系統合作伙伴提供額外的AI和系統軟件、開發工具以及定制軟件開發服務。他們還提供與攝像頭及其他傳感器相關的支持,以及載板和產品解決方案的設計服務。
為所有Jetson Orin用戶解鎖性能提升:Super模式
英偉達也宣布將為Jetson Orin NX和Nano系列的系統模塊提供軟件更新,讓它們也能享受到Super模式的性能提升,最高可達70%。這些更新將通過Jetpack SDK管理器發布在英偉達網站和GitHub上。
Jetson Orin Nano Super Developer Kit預計很快就會通過全球經銷商開始供貨。對于想要入門AI開發的學生、工程師或創客來說,這款開發套件提供了一個經濟實惠且功能強大的平臺選擇。
英偉達將Jetson Orin Nano Super Developer Kit定位為推動生成式AI技術普及化的關鍵產品,希望在智能交通、零售管理以及物聯網(IoT)應用中大放異彩。
本文來自微信公眾號“硬AI”,關注更多AI前沿資訊請移步這里
VIP課程推薦
APP專享直播
熱門推薦
收起24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)