英偉達推出僅249美元的AI超級電腦 生成式AI性能提高達1.7倍

英偉達推出僅249美元的AI超級電腦 生成式AI性能提高達1.7倍
2024年12月18日 03:45 市場資訊

  來源:硬AI

  英偉達周二推出了一款名為Jetson Orin Nano Super的生成式AI超級計算機。英偉達CEO黃仁勛表示,這款開發者套件通過軟件升級實現了更高性能和更低價格,僅售249美元,尺寸小巧,可放在手掌中,可將生成式AI性能提高高達1.7倍。

  該公司表示,這款產品適合商業AI開發者、愛好者和學生,與其前代產品相比,其生成式AI推理性能提升了1.7倍,性能提高了70%,每秒可以執行高達67萬億次的INT8運算(67 INT8 TOPS),內存帶寬也提升了50%,達到了102GB/s。

  黃仁勛還特意為這款產品錄制了一段視頻,如同2021年發布Hopper H100時一樣,展現英偉達對這款產品的重視。在視頻中,黃仁勛表示,從Xavier開始,英偉達就創造了一種新的處理器,也就是機器人處理器,當時沒人知道他們在做什么。

新的Jetson Orin Nano Super擁有將近70兆次的運算能力,功率25瓦,價格249美元,可以執行HGX的所有功能,甚至是執行大語言模型。

  他表示,無論是創建基于檢索增強生成(Retrieval-Augmented Generation, RAG)的大型語言模型(LLM)聊天機器人,構建視覺AI代理,還是部署基于AI的機器人,Jetson Orin Nano Super都是理想的選擇,這款套件都能以更低的成本提供強大的運算效能,主要由于產品支持低功耗設計,能以7瓦到25瓦的功耗運行,適合各種邊緣設備云算場景,無論是智能城市、智能農業還是機器人開發。

  持續提升的性能和體驗

  通過軟件更新,Jetson Orin Nano Super也將為已有Jetson Orin Nano開發者套件的用戶提升生成式AI性能。

  黃仁勛表示,Jetson Orin Nano Super非常適合那些希望在生成式AI、機器人技術或計算機視覺領域發展技能的人士。在AI領域從任務專用模型向基礎模型轉變的趨勢下,它也為開發者提供了一個將創意變為現實的易用平臺。

  為生成式AI提供強勁性能

  Jetson Orin Nano Super性能增強,為所有流行的生成式AI模型,例如Meta的LLaMA、阿里巴巴的通義千問以及谷歌的Gemma。這款套件基于Transformer的計算機視覺模型帶來了顯著提升,進一步提升效能表現。

  該公司表示,開發者套件包括一個Jetson Orin Nano 8GB 系統模塊(SoM)和一個參考載板,為邊緣設備AI應用的原型設計提供了理想平臺。

  系統模塊采用NVIDIA Ampere架構GPU,配備張量計算核心(Tensor Cores)和6核 Arm CPU,能夠處理多個并行AI應用管道,并提供高性能推理能力。此外,它還支持最多四個攝像頭,分辨率和幀率均高于前代版本。

  英偉達強調,隨著AI技術逐漸從云端走向終端,實體AI將是下一波發展重點,Jetson Orin Nano Super不僅可以用于開發聊天機器人,也適合簡歷視覺AI代理或部署AI機器人等應用。

  廣泛的生成式AI軟件生態系統與社區

  此外,英偉達Jetson AI實驗室提供對最新開源社區模型的支持,以及易于使用的教程。開發者還可以從更廣泛的Jetson社區獲得支持,并從其他開發者的項目中獲得靈感。

  Jetson支持英偉達的AI軟件,包括用于機器人技術的NVIDIA Isaac、用于視覺AI的NVIDIA Metropolis和用于傳感器處理的NVIDIA Holoscan。通過NVIDIA Omniverse Replicator生成合成數據,以及使用NVIDIA TAO工具包微調來自NGC目錄的預訓練AI模型,開發時間可以大幅縮短。

  Jetson生態系統合作伙伴提供額外的AI和系統軟件、開發工具以及定制軟件開發服務。他們還提供與攝像頭及其他傳感器相關的支持,以及載板和產品解決方案的設計服務。

  為所有Jetson Orin用戶解鎖性能提升:Super模式

  英偉達也宣布將為Jetson Orin NX和Nano系列的系統模塊提供軟件更新,讓它們也能享受到Super模式的性能提升,最高可達70%。這些更新將通過Jetpack SDK管理器發布在英偉達網站和GitHub上。

  Jetson Orin Nano Super Developer Kit預計很快就會通過全球經銷商開始供貨。對于想要入門AI開發的學生、工程師或創客來說,這款開發套件提供了一個經濟實惠且功能強大的平臺選擇。

  英偉達將Jetson Orin Nano Super Developer Kit定位為推動生成式AI技術普及化的關鍵產品,希望在智能交通、零售管理以及物聯網(IoT)應用中大放異彩。

 

海量資訊、精準解讀,盡在新浪財經APP

責任編輯:丁文武

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時

  • 12-20 天和磁材 603072 --
  • 12-19 國貨航 001391 2.3
  • 12-17 方正閥門 920082 3.51
  • 12-13 中力股份 603194 20.32
  • 12-10 林泰新材 920106 19.82
  • 新浪首頁 語音播報 相關新聞 返回頂部