來源:IT之家
12 月 11 日消息,AMD 早在 2021 年就制定了“到 2025 年將 EPYC 處理器和 Instinct 加速器的能效提高 30 倍”的目標。
根據 AMD 官方的說法,雖然還沒到 2025 年,但他們現在距離這一成果已經只差臨門一腳:配備最新 EPYC 9575F 和 Instinct MI300X 的機器相比 2020 年一臺未公開的機器能效提高了 28.3 倍。
AMD 在測試中使用了 Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、連續批處理)模型,然后對比其推理性能的差異。
AMD 并未透露其測試中用到的這套 2020 年硬件規格,但很顯然基于 Zen 2 系列的 EPYC 7002 處理器(單個 CPU 最多 64 核)以及基于初代 CDNA 架構的 Instinct MI100 加速器。
AMD 還表示,除了“給力”的硬件提升之外,這一成績是通過架構改進和軟件優化綜合實現的成果,這是可以預料到的結果。
該公司最近剛推出了基于 CDNA 3 架構的 Instinct MI325X 加速器,配備了 288 GB HBM3E 內存子系統;AMD 明年還將推出基于 CDNA 4 架構的 Instinct MI355X,與 MI325X 相比性能(FP8 和 FP16)將提高約 80%。
除了 FP8 和 FP16 外,MI325X 還將支持 FP4 和 FP6 格式,其峰值性能將達到 9.2 PetaFLOPS(FP4),這對于許多大語言模型來說非常實用。也就是說,AMD 要想實現在 2025 年實現其計算平臺能效提高 30 倍的目標并不難。
AMD 高級副總裁、AMD 公司研究員和產品技術架構師 Sam Naffziger 表示,“通過我們對硬件和軟件協同設計中深思熟慮的方法,我們對實現 30x25 目標很有信心,并對未來充滿期待,我們已經看到了在未來幾年內實現大幅能效提升的有效途徑。”
責任編輯:丁文武
VIP課程推薦
APP專享直播
熱門推薦
收起24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)