Kimi掀起國產大模型長文本競賽 推動AI應用端預期提升!

Kimi掀起國產大模型長文本競賽 推動AI應用端預期提升!
2024年03月25日 07:21 媒體滾動

股市瞬息萬變,投資難以決策?來#A股參謀部#超話聊一聊,[點擊進入超話]

  【相關閱讀】Kimi概念“大馬力”助推 兩只影視ETF一周漲逾14%  

  Kimi推動AI應用端預期提升!市場波動不改這些ETF配置預期!  

  Kimi爆火,多股漲幅超20%!如何快速抓住熱點?方法竟如此簡單!  

  作為月之暗面的創始人,楊植麟常把他的AGI夢想形容為“登月計劃”,長文本就是這個偉大計劃的第一步。但現在,隨著Kimi的爆火出圈,賽道瞬間變得擁擠,24小時內,阿里、360、百度緊急“出手”,紛紛入局長文本賽道。

  大廠的加入,讓月之暗面充滿理想化色彩的“登月計劃”有了更接地氣、更市場化的一面——從千億參數到千萬長文本,大模型好像又“卷”出了新高度。而一同被“卷”起來的,還有大模型的商業化進程。

  內卷長文本

  Kimi像條“鲇魚”,用200萬字無損上下文激活了整個國產大模型市場。3月23日,360智腦宣布正式內測500萬字長文本處理功能,該功能即將入駐360 AI瀏覽器,同時360 AI瀏覽器App也即將上線。

  3月22日晚上,阿里通義千問宣布,向所有人免費開放1000萬字的長文檔處理功能,成為全球文檔處理容量第一的AI應用。與此同時,也有媒體從知情人士處獲悉,百度文心一言下個月將進行版本升級,屆時也將開放長文本能力,文字范圍會在200萬—500萬。

  Kimi是月之暗面推出的一款智能助手。3月18日,月之暗面宣布Kimi智能助手已支持200萬字超長無損上下文,并于即日起開啟產品內測。去年10月剛發布時,Kimi可支持的無損上下文輸入長度為20萬字。3月21日,因過于火爆,Kimi一度“宕機”。

  天使投資人、資深人工智能專家郭濤對北京商報記者分析稱,200萬字的長文本處理能力是一個巨大的技術突破,這意味著AI模型可以理解和生成更復雜、更豐富的內容,這對于許多應用場景,如自動寫作、內容生成、信息檢索等,都具有重要的價值。

  這可能也是Kimi引爆市場的關鍵。

  3月22日,“Kimi概念”進入持續火爆的第四天,不過資本市場上已出現分化跡象,當天收盤,掌閱科技中廣天擇收獲三連板,因賽集團股價則跌超4%,電廣傳媒跌超3%。

  財經評論員張雪峰對北京商報記者提到,這一突破意味著在自然語言處理領域,特別是文本生成和理解方面,Kimi取得了重大進展,其主要技術突破包括長文本處理能力、上下文理解和訓練技術三個方面。

  以長文本處理能力為例,Kimi能夠處理長達200萬字的文本,而且在處理過程中不會出現信息丟失或失真的情況。這種能力在以往的自然語言處理模型中很難實現,因為長文本的處理需要更大的內存和更復雜的模型結構。

  AGI的初心

  20萬到200萬的變化,不止在于字數的簡單累積,更在于“無損”和它們共同指向的AGI目標。

  楊植麟曾解釋稱,通往AGI,無損的長上下文將會是一個很關鍵的基礎技術。從Word2vec到RNN、LSTM,再到Transformer,歷史上所有的模型架構演進,本質上都是在提升有效的、無損的上下文長度。

  “上下文長度可能存在摩爾定律,但需要同時優化長度和無損壓縮水平兩個指標,才是有意義的規模化。”楊植麟說。

  月之暗面曾介紹,從20萬字到200萬字,由于沒有采用常規的漸進式提升路線,月之暗面團隊遇到的技術難度也是指數級增加的。

  為了達到更好的長窗口無損壓縮性能,月之暗面研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發,不走“滑動窗口”“降采樣”等技術捷徑,攻克了很多底層技術難點。

  但字數累積的表象以及大廠相繼亮出同類型產品的情況,也讓“吃瓜群眾”對于所謂的技術突破有些疑慮。

  在接受北京商報記者采訪時,伽利略資本合伙人鄭譞做了一個類比,對象就是不久前火爆全球的文生視頻大模型Sora。

  鄭譞解釋稱,文生視頻可以看做是連續的文生圖,從理論層面上,可能并不是顛覆性的突破,但是做到穩定生成長視頻確實有難度,更多解決的是工程上的問題。但也不能說工程上的創新就不是創新,月之暗面無損長文本可能也是這個道理。

  概括起來,從底層技術上來看,Kimi可能確實沒有顛覆性的突破,更像是一個突破性技術的前序技術。

  “長文本技術上需要解決上下文理解、長期記憶、復雜推理、多任務適應性以及計算效率等問題,學界其實早就有一些相應的解決方案,比如長文本處理、注意力機制優化等,但是在復雜推理和計算效率上工程難度還是很大的,各大廠也都給出了自己的方案,只不過之前大家并沒有將‘長文本’當成關鍵詞給予足夠的關注度。”鄭譞稱。

  郭濤也提到,從目前公開資料來看,Kimi的技術確實具有一定的競爭優勢,但還不具備技術壁壘。長文本可能會成為大模型的下一個“卷”的領域,因為這是一個具有廣泛應用前景和商業價值的研究方向。

  不過在鄭譞看來,月之暗面與其他人工智能企業真正的不同點,并不在于技術乃至商業化路線的差異,而在于“初心”的不同。

  鄭譞將楊植麟形容為一個“富有理想主義的創始人”“他的目標就是打造自己理想的AGI,而不是從落地或者務實的視角去思考當下的問題”。

  商業化“肉搏”

  理想化的月之暗面,也不能完全“脫俗”。Kimi爆火時,有媒體報道稱,月之暗面相關負責人提到,年內將有商業化初步方案。對于具體的商業化路徑以及大廠競相加入是否會對Kimi的商業化產生影響等問題,北京商報記者聯系了月之暗面,但截至發稿未收到回復。

  鄭譞猜測,相較于特定應用,Kimi的商業化可能類似于OpenAI,更傾向于一種通用性的商業化,例如商業化的高端接入入口用以擴展客戶的應用等。

  目前已有多家企業確認了與Kimi的合作。例如3月24日,萬興科技對外透露,公司旗下視頻創意軟件萬興喵影已率先接入Kimi,其AI寫文案功能當前已采用Kimi大模型服務,萬興科技正加速旗下其他產品對Kimi的對接測試。

  而對于大廠紛紛加入長文本競爭的原因,張雪峰認為,長文本處理能力是自然語言處理領域的一個重要方向,而且隨著信息量的增加,對長文本處理能力的需求也越來越迫切。

  張雪峰進一步補充稱,Kimi的技術突破表明長文本處理已經成為可能,因此大廠紛紛投入研發長文本處理技術,以保持競爭力和領先地位。另外,長文本處理也是滿足用戶需求的重要途徑,可以為用戶提供更全面、準確的信息服務。

  至于大廠的入局,是否會給月之暗面商業化造成影響,鄭譞則給出了否定的回答,原因在于“雖然都在講長文本,但大家的側重點顯然是千差萬別的,而且各家所追求的愿景也有著天壤之別”。

  回歸“為什么是Kimi”的問題,中信建投研報提到,月之暗面打造高關注度應用Kimi Chat,一方面在于核心團隊技術背景深,另一方面在于產品面向C端免費開放,注重產品運營。

  據悉,月之暗面目前在招的31個崗位中,其中6個為市場、運營類崗位,包括達人運營、國內廣告投放等。“目前招募更多市場、運營類人才,后續有望推動產品進一步破圈。”研報稱。

  (來源:北京商報 記者:楊月涵)

海量資訊、精準解讀,盡在新浪財經APP

責任編輯:張恒星 SF142

AI

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時

  • 04-01 宏鑫科技 301539 --
  • 03-29 燦芯股份 688691 --
  • 03-25 中瑞股份 301587 21.73
  • 03-22 廣合科技 001389 17.43
  • 03-20 芭薇股份 837023 5.77
  • 新浪首頁 語音播報 相關新聞 返回頂部