網易云音樂崩了。
2024年8月19日，詞條#網易云音樂崩了#登上微博熱搜第一。不少網友表示，網易云音樂“一直刷新不出來”“一條評論也刷不出來”“搜歌也搜不出來”。
不久后，網易云音樂在官方微博回復，“因基礎設施故障，導致網易云音樂各端無法正常使用，我們正在加緊修復，非常抱歉。”
另據21世紀經濟報道記者從多位有過網易工作經歷的技術人員處了解到，此番網易云音樂出現技術故障，或與Curve存儲系統有關。該系統由網易開發，團隊曾經歷過裁員。
對此，網易云音樂方面向21世紀經濟報道記者回應稱，“沒有刪庫，沒有跑路，正在加速修復”。但對于涉及Curve團隊問題，相關工作人員表示并不清楚。
隨后，網易云音樂官方微博表示，故障已陸續修復。同時，作為補償，8月20日0~24時，云音樂搜“暢聽音樂”，可領取7天會員權益到用戶的賬戶。
事實上，網易云音樂使用Curve有著歷史沿襲。
據網易云音樂技術團隊在2022年6月對外披露，云音樂使用云盤的業務主要包括主站、UGC、曲庫等Java應用，其中主站是云音樂核心業務，需要提供最高等級的SLA保障（年可用率≥99.99%），面對提供上億級用戶量穩定的云音樂體驗，這一直以來也是該平臺的重難點。
2019年之前云音樂主要使用Ceph云盤，但Ceph在大規模場景下存在性能缺陷，且很難保證在各種異常（壞盤慢盤、存儲機宕機、存儲網絡擁塞等）場景下云盤IO響應時延不受影響；Ceph云盤的IO抖動問題，該團隊曾嘗試花很多人力精力做優化改造，但都只是稍微有所緩解，無法徹底解決；性能問題也投入大量人力進行分析優化，但仍然不能達到預期。因此網易云音樂才立項了解Curve塊存儲分布式存儲系統。
網易云音樂提到，Curve塊存儲可以良好適配主流云計算平臺，并且具備高性能、易運維、穩定不抖動等優勢。在實際應用中，使用Curve塊存儲對接Cinder作為云主機云盤存儲后端，對接Nova作為云主機系統盤，對接Glance作為鏡像存儲后端。在創建云主機過程中，Nova會通過Curve塊存儲提供的Python SDK克隆出新卷作為云主機系統盤使用。在創建云盤過程中，Cinder會通過Python SDK創建空卷或者通過已有的卷快照克隆出新卷，之后可以掛載到云主機上作為云盤使用。云主機使用Libvirt作為虛擬化管控服務，使用QEMU/KVM作為虛擬化引擎。Curve塊存儲為Libvirt/QEMU提供了驅動庫，編譯后就可以直接使用Curve卷作為遠端存儲，不需要把Curve塊存儲卷掛載到本地。
2020年，網易數帆宣布，開源一款名為Curve的高性能分布式存儲系統。
當年的網易數字+大會上，網易副總裁、網易杭州研究院執行院長兼網易數帆總經理汪源透露，Curve主要具有三大設計特點：高性能、高可用和自治。汪源公布了Curve和CephL版本的測試數據對比，在單卷的場景下，核心的4K隨機讀/寫的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時延遲相比Ceph分別降低48.39%和37.50%。
當時，網易披露，Curve系統上線400多天，從未出現數據不一致和丟數據的情況，沒有發生過重大故障，數據可靠性達到100%，服務可用率達到4個9以上。
可變動來得比想象中快，近年網易杭州研究院裁員傳聞不斷，汪源本人已從網易離職。
還需注意的是，此刻網易云音樂本就處在機房遷移的適應關鍵節點，這可能也是此番故障誘因。
據網易云音樂技術團隊在2024年7月對外披露，2023年確定要將云音樂整體服務搬遷至貴州機房，項目需要在各種限制條件下，保障2000+應用、100w+QPS的服務穩定遷移，是云音樂歷史上規模最大、人員最多、難度最高的技術項目。在此過程中，解決了大量歷史技術債務，同時化解了大量新增系統性風險。
具體來看，此次需要云音樂以及旗下獨立App的服務均整體遷移至貴州。涉及2000+應用、100w+QPS的穩定遷移，同時涉及中間件、存儲、機房、三方依賴服務等整體的搬遷，搬遷規模大。
業務復雜度亦高。其中，場景復雜。遷移規模大，帶來更廣的業務場景覆蓋。而不同的場景對數據一致性要求不同、延遲敏感度不同。遷移方案需要考慮各種場景帶來的問題，并提供標準化的解決方案。
另外，服務間依賴復雜。此次帶來約2000+應用的搬遷，各服務間的調用和依賴情況復雜，在分批遷移方案中需要協調，以及解決遷移期間跨機房30msRT上升帶來的問題。
此外，相關歷史積弊也多。網易云音樂提到，遷移貴州前，存在諸多歷史技術積弊，影響著全站整體的穩定性。
此次搬遷還有新增風險。網易云音樂提出，遷移貴州帶來諸多新增風險，且解決難度高。部分場景無法做到真實環境全流程預演。在基礎技術建設上，也有一些不足的情況，影響整體搬遷執行效率、遷移準確性。
限制條件也嚴苛。云音樂有著大量的用戶基數，此次搬遷要求：不停機遷移、不產生P2及以上事故。除此之外還有機器、網絡帶寬、網絡穩定性、網絡RT、遷移方案等限制條件。
總體來看，前述搬遷推進、協調難度大。“此次搬遷規模大，同樣，參與人員規模大，整體協調難度大。此外帶來較多的人因風險。可能因極小的細節未執行到位，就會造成全局事故。”網易云音樂技術團隊相關文章表態。
回到網易云音樂運營來看，該公司處于結構調整期。
財報顯示，2023年，云音樂營收78.67億元，同比下滑13%；經調整凈利潤為8.19億元，上年同期為虧損1.15億元。
具體到業務來看，2023年，網易云音樂在線音樂服務收入為43.51億元，同比增長18%。其中，會員訂閱收入為36.49億元，同比增長20%，平均付費會員數同比增長15%達到4412萬，月均ARPU值同比增長5%達到6.9元。非訂閱收入為7億元，同比增長6%。
但受政策影響，以直播為主要業務的社交娛樂業務收入在2023年同比下滑34%至35.16億元。付費用戶為160萬，同比提升20%，月均ARPU同比下滑45%達到179元。
好消息是，網易云音樂毛利率在提升。2023年，該公司內容服務成本45.99億元，同比下滑31%，占收入比從2022年的75%下降至2023年的58%，主要因為音樂版權成本絕對值基本穩定，調整了社交娛樂業務的分成比例，收入因流量分配調整等因素也有較大幅度的下滑，結合分成比例收窄，帶來內容成本的大幅縮減。
2023年下半年，網易云音樂毛利率較上半年進一步提升，達到28.7%。2023年整體運營費用的絕對值同比小幅收窄。
2024年一季度，網易云音樂公布營收39.6億元，同比增長3.6%。
客觀上，結構調整也是種行業性趨勢。
財報顯示，今年二季度，騰訊音樂營收71.6億元，同比下滑2%；經調整凈利潤19.85億元，同比增長25.7%。具體來看，在線音樂業務收入54.24億元，同比增長28%；社交娛樂業務收入17.36億元，同比下滑43%。
其中，社交娛樂MAU在二季度同比下滑31.6%至9300萬。付費用戶為790萬，同比增長5%。季度ARPU為220元，同比下滑45%。
總體而言，隨著競爭加劇，網易云音樂每一步都需要更謹慎。
VIP課程推薦
APP專享直播
熱門推薦
收起
24小時滾動播報最新的財經資訊和視頻，更多粉絲福利掃描二維碼關注（sinafinance）
