【國盛計算機】豆包算力需求測算

【國盛計算機】豆包算力需求測算
2024年12月22日 22:52 市場資訊

  炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛力主題機會!

字節豆包MAU近6000萬,大模型調用量增長迅速。12月18日,字節召開火山引擎Force大會,火山引擎CEO譚待表示,截至目前,豆包大模型日均tokens使用量超過4萬億,發布7個月以來增長超過33倍。11月豆包MAU接近6000萬,在AI產品榜·全球總榜中僅次于ChatGPT 2.87億的MAU。11月豆包的MAU增速達16.92%,考慮當前豆包增速,我們認為豆包在2025年的MAU有望接近ChatGPT達到2億。我們認為字節在算力端的投入有望高速增長,助推AI算力相關產業鏈加速擴張。

豆包調用量有望推動算力各環節價值量增長。根據上文對豆包2025MAU及日均token數的測算,我們認為豆包有望助推AI算力產業鏈需求擴張。以下為對豆包大模型算力需求對應產業鏈各環節需求測算:

2024

2025E

備注

豆包月活(億)

0.6

2

11月豆包APP MAU為0.60億,ChatGPT約為2.87億,11月豆包的MAU增速達16.92%

模型參數量(億)

1300

基于云雀大模型

平均每秒并發token數(億/s)

0.46

1.54

一天有24*3600s

峰值token倍數(倍)

5

推理在一天中峰谷波動明顯

總算力需求(FLOPS)

1.20E+20

4.01E+20

假設總算力需求(FLOPS)=2*參數量*每秒token數*峰值token倍數/算力利用率50%

GPU/服務器需求

GPU需求(萬張)

80.81

271.10

以H20 FP16算力148TFLOPS為基準

服務器需求(萬臺)

10.10

33.89

以八卡英偉達H20服務器為基準

H20服務器售價(萬元/臺)

90.00

80.00

假設明年價格略微下行

服務器價值(億元)

909.12

2711.04

——GPU +基板價值(億元)

660.02

1968.22

參考H100中成本占比72.6%

——服務器中DRAM價值(億元)

26.36

78.62

參考H100中成本占比2.9%

——服務器中NAND占價值(億元)

11.82

35.24

參考H100中成本占比1.3%

數據中心相關設備

光模塊數量(萬個)

242.43

813.31

1張GPU對應3個光模塊

數據中心存儲價值(億元)

144.93

432.20

估算為服務器價值量的11/69

電源價值量(億元)

9.70

32.53

以2000元/千瓦計算

IDC年租金(億元)

47.27

158.60

參考極云科技在成都8kw整柜78000元/年

冷板式液冷價值量(億元)

2.62

31.23

以6000元/千瓦計算

浸沒式液冷價值量(億元)

0.48

13.01

以10000元/千瓦計算

資料來源:財聯社,36氪,百度智能云,騰訊技術工程公眾號,深圳市電子商會,融資中國,芯智訊,半導體行業觀察,中研網,曼陀咨詢,愛采購,極云科技,電信運營商液冷技術白皮書,IDC,明德源能,國盛證券研究所

建議關注:

芯片:寒武紀

電源:歐陸通

IDC:潤澤科技亞康股份

服務器/主板:浪潮信息華懋科技軟通動力神州數碼拓維信息

散熱:英維克申菱環境高瀾股份

潛在存儲:兆易創新

AI技術迭代不及預期風險;經濟下行超預期風險;行業競爭加劇風險;關鍵假設有誤差風險

01

字節豆包MAU近6000萬,大模型調用量增長迅速

12月18日,字節召開火山引擎Force大會,火山引擎CEO譚待表示,目前豆包大模型日均tokens使用量超過4萬億,自發布以來七個月增長超過33倍。

會上,字節跳動正式發布了豆包視覺理解模型、豆包3D生成模型,以及全面升級的豆包通用模型pro、音樂模型和文生圖模型等。其中,豆包視覺理解模型千tokens輸入價格僅為3厘,一元錢就可處理284張720P的圖片。火山引擎Force大會還宣布,字節跳動將在2025年春季推出具備更長視頻生成能力的豆包視頻生成模型1.5版,豆包端到端實時語音模型也將很快上線。

據36氪,11月豆包MAU接近6000萬,在AI產品榜·全球總榜中僅次于ChatGPT 2.87億的MAU。我們認為,豆包作為國內大模型的代表,參數量或有千億級別,疊加其4萬億/天的token消耗,字節在算力端的投入或十分巨大、且仍在高速增長,有望助推AI算力鏈公司加速擴張。11月豆包的MAU增速達16.92%,考慮當前豆包增速,我們認為豆包在2025年的MAU有望接近ChatGPT達到2億,假設token數與月活成正比,對應每秒并發tokens數為1.54億。據百度智能云,推理服務一個典型的負載模式是一天中峰谷波動明顯,且會出現不可預期的短時間流量激增。這就出現了雖然峰值很高,但平均利用率卻很差,均值經常不到 30%甚至20%,因此我們估算豆包的峰值token數是平均token數的五倍。

圖表1:豆包算力需求測算

2024

2025E

備注

豆包月活(億)

0.6

2

11月豆包APP MAU為0.60億,ChatGPT約為2.87億,11月豆包的MAU增速達16.92%

日均token數(億)

40,000

133,333

假設token數與月活成正比

平均每秒并發token數(億/s)

0.46

1.54

一天有24*3600s

峰值token倍數(倍)

5

推理在一天中峰谷波動明顯,平均利用率經常不到30%甚至20%,

資料來源:財聯社,36氪,百度智能云,國盛證券研究所

02

多模態快速發展,結合大模型帶來更多應用場景

根據上文對豆包2025年MAU及日均token數的測算,我們認為豆包有望助推AI算力產業鏈需求擴張。以下為各環節需求測算:

服務器:

據騰訊技術工程公眾號,大模型的推理過程中,主要計算量在Transformer 解碼層,這一層對于每個 token、每個模型參數是一個單位 unit 的計算量,所以推理過程每個 token、每個模型參數,需要進行1 unit × 2 flops =2次浮點運算。因此我們估算豆包大模型對應算力需求= 2*參數量*每秒token數*峰值token倍數/算力利用率,該方法可能存在一定誤差。

據融資中國,豆包(云雀)大模型參數規模為1300億。根據百度智能云報道,一般情況下,在線服務的 GPU 使用率不高,在 20%左右。另外,若部署其用戶態方案,保證在線服務的 SLA相同的情況下,可以將GPU資源利用率提升至35%。我們基于對算力需求保守估計的角度出發,假設字節對算力的利用率達到50%。以H20為例,其FP16算力為148TFLOPS,功耗為400W。以下測算用上述H20的FP16算力作為基準,可能存在一定誤差。

據深圳市電子商會2024年5月消息,一臺八卡英偉達H20服務器目前市場價可能下探至約100萬元人民幣,考慮隨時間推移舊型號價格可能持續下降,以下測算以一臺八卡英偉達H20服務器今年價格90萬,明年價格80萬為基準。

具體到服務器中部件成本,如果參考H100,據半導體行業觀察,一個8 GPU + 4 NVSwitch 基板的Nvidia DGX H100服務器價格為268495美元,其 BOM 成本明細包括供電、內存、組裝、冷卻、GPU 成本、CoWoS 成本、裸片成本、成品率成本、HBM 成本等。其中?GPU + 基板價值量為195000美元,占比72.6% 存儲占比為DRAM 2.9%和NAND 1.3%。

圖表2:豆包服務器需求測算

2024

2025E

備注

模型參數量(億)

1300

基于云雀大模型

平均每秒并發token數(億/s)

0.46

1.54

一天有24*3600s

峰值token倍數(倍)

5

推理在一天中峰谷波動明顯

總算力需求(FLOPS)

1.20E+20

4.01E+20

總算力需求(FLOPS)=2*參數量*每秒token數*峰值token倍數/算力利用率設為50%

GPU需求(萬張)

80.81

271.10

以H20 FP16算力148TFLOPS為基準

服務器需求(萬臺)

10.10

33.89

以八卡英偉達H20服務器為基準

H20服務器售價(萬元/臺)

90.00

80.00

假設明年價格略微下行

服務器價值(億元)

909.12

2711.04

——GPU +基板價值(億元)

660.02

1968.22

參考H100中成本占比72.6%

——服務器中DRAM價值(億元)

26.36

78.62

參考H100中成本占比2.9%

——服務器中NAND占價值(億元)

11.82

35.24

參考H100中成本占比1.3%

資料來源:騰訊技術工程公眾號,深圳市電子商會,融資中國,百度智能云,芯智訊,半導體行業觀察,國盛證券研究所

數據中心存儲據中研網,數據中心IT設備成本中服務器成本占比為69%,存儲成本占比為11%因此我們估算豆包算力所需數據中心存儲的價值量為服務器價值量的11/69光模塊據曼陀咨詢,大模型的參數規模越來越大,進而帶來交換網絡層數的提升,GPU和光模塊的配比提升。GPT-425KGPU集群上訓練需要75000個光互連。未來的10萬個超大計算集群,需要50萬個光互聯,GPU與光模塊的配比為1:5。我們假設豆包算力集群所需的光模塊配比與GPT-4類似,則為1GPU對應3個光模塊。

電源

據半導體行業觀察,每臺 DGX H100 服務器正常運行時的預期平均功率 (EAP) 約為 10,200 W,每臺服務器 8 個 GPU 的每一個 GPU 的功率為1,275 W。其中包括 H100 本身的 700W 熱設計功耗 (TDP),以及雙 Intel XeonPlatinum 8480C 處理器的約 575W(分配給每個 GPU)以及 2TB DDR5 內存、NVSwitches、NVLink、NIC、重定時器、網絡收發器等加上整個 SuperPOD 的存儲和管理服務器以及各種網絡交換機的電力需求。參考H100服務器的功耗與GPU的功耗比例為10200/(700*8),我們保守按服務器功耗為GPU功耗的1.5倍來測算豆包算力所需服務器功耗。

參考愛采購網U1A-D10800-DRBU1A-D10800-DRB-Z 800W歐陸通服務器電源模塊60個起批價為1900元,對應電源價值量為1900元/800W,即2.375元/W。我們保守按2000元/千瓦來測算豆包算力所需電源的價值量。

IDC租金

我們參考極云科技在成都IDC高電機柜的租金,40a電流8kw整柜租用年付優惠價為78000元/年;各家IDC廠商定價以及不同地域IDC價格可能有所差別。

液冷

據三大運營商聯合發布的《電信運營商液冷技術白皮書》,三大運營商規劃于2023年開展技術驗證,2024年規模測試,新建數據中心10%規模試點應用液冷技術;而到2025年開展規模應用,50%以上數據中心項目應用液冷技術。我們假設豆包算力設施在2024年液冷滲透率10%,2025年液冷滲透率40%。

IDC數據顯示,2023上半年,中國液冷服務器市場中,冷板式占到了90%,主要取決于傳統數據中心對原有基礎設施改造成本和難度的關注度,以及當前冷板式方案成熟度較高,商用基礎較好。長遠來看,浸沒式在散熱效率和單機柜功率、空間利用率等方面比冷板式具有顯著優勢。

據明德源能估計,浸沒式液冷系統的建設成本大約在每千瓦1萬元人民幣以上,這還不包括可能的額外維護和更換冷卻液的費用。冷板式液冷其建設成本平均每千瓦約在6000-8000元人民幣,遠低于浸沒式液冷。參考IDC數據2023年冷板式占比90%,考慮到IDC指出長遠來看浸沒式具有優勢,我們估算時假設浸沒式明年加快推進,按浸沒式液冷價值1萬/千瓦,今年占比10%,到25年占比提升到20%;冷板式液冷價值6000/千瓦,今年占比90%,25年占比80%。

圖表3:豆包服務器需求對應數據中心設施測算

2024

2025E

備注

GPU需求(萬張)

80.81

271.10

以H20 FP16算力為基準

服務器價值(億元)

909.12

2711.04

光模塊數量(萬個)

242.43

813.31

1張GPU對應3個光模塊

數據中心存儲價值(億元)

144.93

432.20

估算為服務器價值量的11/69

GPU總功耗(千瓦)

323243.24

1084417.75

以H20每張400W為基準

服務器總功耗(千瓦)

484864.86

1626626.63

以服務器功耗為GPU功耗的1.5倍計算

電源價值量(億元)

9.70

32.53

以2000元/千瓦計算

IDC年租金(億元)

47.27

158.60

參考極云科技在成都8kw整柜78000元/年

液冷占比

0.10

0.40

冷板式液冷占比

0.90

0.80

長遠看浸沒式有優勢,假設浸沒式加速推進

冷板式液冷價值量(億元)

2.62

31.23

以6000元/千瓦計算

浸沒式液冷占比

0.10

0.20

長遠看浸沒式有優勢,假設浸沒式加速推進

浸沒式液冷價值量(億元)

0.48

13.01

以10000元/千瓦計算

資料來源:中研網,曼陀咨詢,半導體行業觀察,愛采購,極云科技,電信運營商液冷技術白皮書,IDC,明德源能,國盛證券研究所

綜上,我們對豆包大模型算力需求(非字節全部業務算力需求)對應產業鏈各環節需求測算如下

圖表4:豆包算力產業鏈各環節需求測算

2024

2025E

備注

豆包月活(億)

0.6

2

11月豆包APP MAU為0.60億,ChatGPT約為2.87億,11月豆包的MAU增速達16.92%

模型參數量(億)

1300

基于云雀大模型

平均每秒并發token數(億/s)

0.46

1.54

一天有24*3600s

峰值token倍數(倍)

5

推理在一天中峰谷波動明顯

總算力需求(FLOPS)

1.20E+20

4.01E+20

假設總算力需求(FLOPS)=2*參數量*每秒token數*峰值token倍數/算力利用率50%

GPU/服務器需求

GPU需求(萬張)

80.81

271.10

以H20 FP16算力148TFLOPS為基準

服務器需求(萬臺)

10.10

33.89

以八卡英偉達H20服務器為基準

H20服務器售價(萬元/臺)

90.00

80.00

假設明年價格略微下行

服務器價值(億元)

909.12

2711.04

——GPU +基板價值(億元)

660.02

1968.22

參考H100中成本占比72.6%

——服務器中DRAM價值(億元)

26.36

78.62

參考H100中成本占比2.9%

——服務器中NAND占價值(億元)

11.82

35.24

參考H100中成本占比1.3%

數據中心相關設備

光模塊數量(萬個)

242.43

813.31

1張GPU對應3個光模塊

數據中心存儲價值(億元)

144.93

432.20

估算為服務器價值量的11/69

電源價值量(億元)

9.70

32.53

以2000元/千瓦計算

IDC年租金(億元)

47.27

158.60

參考極云科技在成都8kw整柜78000元/年

冷板式液冷價值量(億元)

2.62

31.23

以6000元/千瓦計算

浸沒式液冷價值量(億元)

0.48

13.01

以10000元/千瓦計算

資料來源:財聯社,36氪,百度智能云,騰訊技術工程公眾號,深圳市電子商會,融資中國,芯智訊,半導體行業觀察,中研網,曼陀咨詢,愛采購,極云科技,電信運營商液冷技術白皮書,IDC,明德源能,國盛證券研究所

建議關注:

芯片:寒武紀等

電源:歐陸通等

IDC:潤澤科技、亞康股份等

服務器/主板:浪潮信息、華懋科技、軟通動力、神州數碼、拓維信息等

散熱:英維克、申菱環境、高瀾股份等

潛在存儲:兆易創新等

行業競爭加劇風險:若相關企業加快技術迭代和應用布局,整體行業競爭程度加劇,將會對目前行業內企業的增長產生威脅。關鍵假設有誤差風險:若關鍵假設不準確,可能導致測算結果不準確

具體分析詳見2024年12月22日發布的報告《豆包算力需求測算

特別聲明:《證券期貨投資者適當性管理辦法》于2017年7月1日起正式實施。通過微信形式制作的本資料僅面向國盛證券客戶中的專業投資者。請勿對本資料進行任何形式的轉發。若您非國盛證券客戶中的專業投資者,為保證服務質量、控制投資風險,請取消關注,請勿訂閱、接受或使用本資料中的任何信息。因本訂閱號難以設置訪問權限,若給您造成不便,煩請諒解!感謝您給予的理解和配合。

重要聲明:本訂閱號是國盛證券計算機團隊設立的。本訂閱號不是國盛計算機團隊研究報告的發布平臺。本訂閱號所載的信息僅面向專業投資機構,僅供在新媒體背景下研究觀點的及時交流。本訂閱號所載的信息均摘編自國盛證券研究所已經發布的研究報告或者系對已發布報告的后續解讀,若因對報告的摘編而產生歧義,應以報告發布當日的完整內容為準。本資料僅代表報告發布當日的判斷,相關的分析意見及推測可在不發出通知的情形下做出更改,讀者參考時還須及時跟蹤后續最新的研究進展。

本資料不構成對具體證券在具體價位、具體時點、具體市場表現的判斷或投資建議,不能夠等同于指導具體投資的操作性意見,普通的個人投資者若使用本資料,有可能會因缺乏解讀服務而對報告中的關鍵假設、評級、目標價等內容產生理解上的歧義,進而造成投資損失。因此個人投資者還須尋求專業投資顧問的指導。本資料僅供參考之用,接收人不應單純依靠本資料的信息而取代自身的獨立判斷,應自主作出投資決策并自行承擔投資風險。

(轉自:國盛計算機暢想)

海量資訊、精準解讀,盡在新浪財經APP

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時

  • 12-30 鈞崴電子 301458 --
  • 12-30 賽分科技 688758 --
  • 12-24 星圖測控 920116 6.92
  • 12-23 黃山谷捷 301581 27.5
  • 12-20 天和磁材 603072 12.3
  • 新浪首頁 語音播報 相關新聞 返回頂部