AI大模型帶動存儲變革 業界呼吁重視存力建設

AI大模型帶動存儲變革 業界呼吁重視存力建設
2023年08月02日 01:53 21世紀經濟報道

  眼下,AI大模型正重塑著千行百業,也包括與之息息相關的算力產業鏈。

  在AI芯片屹立風口之時,業內對存儲芯片、存儲設備的關注度也直線上升,HBM(高帶寬存儲)、近存計算等概念大熱。

  大模型建立在數據和算力之上,而海量數據(維權)需要更強悍的存儲性能,從而更好地釋放算力,因此在大模型的推動下,存儲產業正在新需求下升級變革。

  近日,華為數據存儲產品線總裁周躍峰就向記者談到了存力的重要性:“大模型時代,數據決定AI智能的高度。作為數據的載體,數據存儲成為AI大模型的關鍵基礎設施。”

  一直以來,計算、存儲和網絡被視為數據中心三大件,它們是關系緊密的有機體系,分別對應著算力、存力和運力。如今在算力蓬勃發展的同時,存力正越來越受到重視。近年來國內建設了諸多算力中心,現在的新趨勢是開始建設大量的存力中心。

  打造AI大模型是一個復雜的系統過程,其間面臨著不少挑戰。在華為看來,企業在開發及實施大模型應用過程中存在四大挑戰。

  首先,數據準備時間長,數據來源分散,歸集慢,預處理百TB數據需10天左右,這不利于系統的高效利用。

  其次,如今大模型的規模越來越大,達到千億甚至萬億的參數級,訓練需要海量的計算資源和存儲空間。比如多模態大模型以海量文本、圖片為訓練集,但是當前海量小文件的加載速度不足100MB/s,訓練集加載效率低。

  其三,大模型參數頻繁調優,訓練平臺不穩定,平均約2天出現一次訓練中斷,需要Checkpoint機制恢復訓練,故障恢復耗時超過一天。

  最后,大模型實施門檻高,系統搭建繁雜,資源調度難,GPU資源利用率通常不到40%。比如,它需要非常專業的軟件、硬件甚至是維護工程師來進行實施并進行后續的維護。

  可以看到,大模型的到來,給數據和存儲提出了新的要求。華為分布式存儲領域副總裁韓振興向21世紀經濟報道記者表示:“在AI剛興起的時候,針對小模型,很多客戶會找一些服務器的本地盤來解決。但是隨著大模型的興起,需要一個外置的非常靈活擴展的存儲。如果數據量載入過慢,會造成建設的算力都在閑置,所以需要一個不僅是外置的存儲,而是一個極高性能的新品類和解決方案。”

  為了解決這些瓶頸,頭部的企業們已經開始牽頭進行產業界合作。近期,華為針對不同行業、不同場景大模型應用,推出OceanStor A310深度學習數據湖存儲與FusionCube A3000訓/推超融合一體機。

  其中,前者是面向基礎/行業大模型場景,支持96閃存盤,帶寬可達400GB/s,IOPS達到1200萬;后者面向行業大模型的訓練、推理一體化的場景,集成了存儲、網絡、多樣性的計算,降低企業使用AI大模型的門檻。目前,華為的存儲產品已在國內的十大模型廠商得到部署,包括科大訊飛、中國科學院等。

  據悉,目前全球高端的存儲設備廠商主要有三家,分別是華為、戴爾EMC和日立。隨著AI大模型日新月異,企業對于高端存儲的需求也將更進一步,華為、戴爾、日立等也將在存儲的頂級戰場上展開新一輪競爭。

  周躍峰向21世紀經濟報道記者算了一筆成本賬單:在AI的大模型訓練過程里,包括數據準備、接入實施等整體成本中,算力的成本占25%左右,即買服務器和GPU;數據準備、清洗與處理這些工作(包括人工)的成本大概占22%。

  同時,周躍峰還舉了一個例子來說明存儲的重要性,由于英文的數字化記錄資料遠遠多于中文,ChatGPT訓練英文的效率比中文高很多。他表示,中國如果不重視存力,對未來AI的產業發展以及人工智能的潛力的發揮會有巨大制約作用。

  數據顯示,預計2025年中國數據量將從7.6ZB增至48.6ZB,超過美國成為全球第一。當前,全球各國都在加快制定國家數據戰略,其中,存儲技術和產業成為共同關注的戰略重點。

  雖然AI算力中心不斷興起,但是中國工程院院士、中國科學院計算技術研究所研究員倪光南指出,目前普遍對算力的理解有片面性,廣義算力不僅包括算力,還包括存力、運力。當前中國算力中心的存力相對不足,存在重算力輕存力的傾向。

  韓振興也表達了類似觀點,他談道,在算力和存力的建設有一個最佳的算存比,并不是靠推算力就能把AI做好。算力建設過多、存力建設過少,這會導致算力閑置,造成資源的浪費。所以一定要去重視存力,達到一個最佳的整體算存比。

  當前國內的存儲發展還跟不上數據量的增長。根據倪光南提及的一組數據,中國單位GDP的數據存儲量只有美國70%左右,而人均數據存儲量,美國是中國的9倍。美國為212GB/人,中國約為25GB/人,說明中國數據存儲產業大有可為、前景廣闊。

  在業界呼吁關注存力建設的同時,國內在政策面也有了更多支持計劃。為進一步加快推動我國算力高質量發展,日前工信部新聞發言人趙志國表示,將出臺指導算力基礎設施高質量發展的政策文件,加大高性能智算供給,加強先進存儲產品部署,開展算力網絡優化行動,加快構建云邊端協同、算存運融合的一體化、多層次的算力基礎設施體系。

海量資訊、精準解讀,盡在新浪財經APP

責任編輯:韋子蓉

AI 華為

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

7X24小時

  • 08-04 德福科技 301511 --
  • 08-03 威馬農機 301533 29.5
  • 08-03 司南導航 688592 50.5
  • 08-02 路橋信息 837748 7
  • 08-02 固高科技 301510 12
  • 產品入口: 新浪財經APP-股票-免費問股
    新浪首頁 語音播報 相關新聞 返回頂部