AMD架構創新成果:最新AI系統比2020年的產品能效提高28.3倍

AMD架構創新成果:最新AI系統比2020年的產品能效提高28.3倍
2024年12月11日 22:16 市場資訊

  來源:IT之家

  12 月 11 日消息,AMD 早在 2021 年就制定了“到 2025 年將 EPYC 處理器和 Instinct 加速器的能效提高 30 倍”的目標。

  根據 AMD 官方的說法,雖然還沒到 2025 年,但他們現在距離這一成果已經只差臨門一腳:配備最新 EPYC 9575F 和 Instinct MI300X 的機器相比 2020 年一臺未公開的機器能效提高了 28.3 倍。

  AMD 在測試中使用了 Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、連續批處理)模型,然后對比其推理性能的差異。

  AMD 并未透露其測試中用到的這套 2020 年硬件規格,但很顯然基于 Zen 2 系列的 EPYC 7002 處理器(單個 CPU 最多 64 核)以及基于初代 CDNA 架構的 Instinct MI100 加速器。

  AMD 還表示,除了“給力”的硬件提升之外,這一成績是通過架構改進和軟件優化綜合實現的成果,這是可以預料到的結果。

  該公司最近剛推出了基于 CDNA 3 架構的 Instinct MI325X 加速器,配備了 288 GB HBM3E 內存子系統;AMD 明年還將推出基于 CDNA 4 架構的 Instinct MI355X,與 MI325X 相比性能(FP8 和 FP16)將提高約 80%。

  除了 FP8 和 FP16 外,MI325X 還將支持 FP4 和 FP6 格式,其峰值性能將達到 9.2 PetaFLOPS(FP4),這對于許多大語言模型來說非常實用。也就是說,AMD 要想實現在 2025 年實現其計算平臺能效提高 30 倍的目標并不難。

  AMD 高級副總裁、AMD 公司研究員和產品技術架構師 Sam Naffziger 表示,“通過我們對硬件和軟件協同設計中深思熟慮的方法,我們對實現 30x25 目標很有信心,并對未來充滿期待,我們已經看到了在未來幾年內實現大幅能效提升的有效途徑。”

海量資訊、精準解讀,盡在新浪財經APP

責任編輯:丁文武

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時

  • 12-20 天和磁材 603072 --
  • 12-19 國貨航 001391 --
  • 12-13 中力股份 603194 20.32
  • 12-10 林泰新材 920106 19.82
  • 12-09 博科測試 301598 38.46
  • 新浪首頁 語音播報 相關新聞 返回頂部