格隆匯12月25日丨云天勵飛(688343.SH)在投資者互動平臺表示,公司Deep Edge 10是國內首創的國產14nm Chiplet大模型推理芯片,采用自主可控的國產工藝,內含國產RISC-V核,可廣泛應用于大模型推理服務器、AIoT邊緣視頻、移動機器人等場景。 DeepEdge10系列芯片基于標準化的大模型計算單元打造,通過D2D Chiplet技術、C2C Mesh技術和C2C Mes Torus技術,云天勵飛將標準計算單元以類似于“搭積木”的方式封裝成不同算力的芯片,并針對大模型的Transformer架構進行優化,可實現7B、14B、130B等不同參數量大模型的高效推理。公司于2024年推出IPU-X6000加速卡,其內置高效大模型推理DeepEdge200芯片,具有256T大算力、486GB/s超高帶寬、128GB大顯存、C2C mesh互聯,由多張加速卡構成的一體機,在多卡互聯時可實現存儲共享、最大化發揮帶寬優勢,從而提升大模型推理效率,可應用于語言大模型、視覺大模型、多模態大模型等各類大模型推理加速領域,目前已經支持適配云天書、通義千問、百川智能、智譜清言、Meta等30+開源大模型,涵蓋1.5B參數到70B參數量,預期能使大模型推理成本大幅度下降。
海量資訊、精準解讀,盡在新浪財經APP
VIP課程推薦
加載中...
APP專享直播
熱門推薦
收起
新浪財經公眾號
24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)