“2023中國AIGC產業發展論壇”于9月4日在北京召開。星環科技創始人、 CEO孫元浩出席并演講。

　　以下為演講實錄：

　　下午好，我介紹一下在AI大時代的變革。

　　這里我引用了Google畫一張圖，看到AIGC特別是大語言模型的能力跟參數有很大的關系，我們發現在百億參數規模的時候讓大模型做自然語言理解還是可行的，到300-500億規模的可以用來編代碼，做文本和代碼生成，可能有50%左右的準確度，今天可能會更高一點，到1000億以上才有推理能力，也能比較準確做指令遵循，用提示詞給它下指令，可以按照你的要求生成文本。看起來模型越大，能力越強一些。這張圖認為到5000億以上才較好掌握語義解析、諺語及常識理解、閱讀理解、邏輯推理、模式識別、對話及問答等能力。

　　再看大模型本身應用場景，這是一個另外風險投資機構的分析報告，它認為每家企業幾乎所有的職能部門都可以用上大模型，都可以發揮作用，從管理層經營決策到市場部的營銷，到銷售團隊報告生成，做銷售預測，到客戶支持，客服，到HR，到法律部門，到IT團結都可以使用大模型，意味著企業所有的部門都可以用大模型提升效率。

　　我們在實踐中發現，一開始在構建大模型應用的時候，有兩種方法：一種方法是用大模型做自然語言理解，這種做法利用數百億參數規模的模型來做就行；第二把AI作為一個Agent嵌入當中，有一定的智能化推理能力。在基于通用大模型構建應用的時候，由于通用大模型的訓練語料沒有行業知識，會有三個缺陷：第一，它無法理解行業術語。比如在金融行業，對于營業數據、財務報表等很多術語不能準確理解；第二，無法完成特定行業任務，比需要分析特定事件對股票或板塊的影響，它無法識別，因為未被訓練過；第三，輸出的結果每次都不一樣，需要校準，不能提供特別精確的答案。基于這三個重要的原因，我們需要打造一個行業大模型。

　　每個行業的領域知識還是比較多的，從金融到政務，到能源、交通各個行業，比如金融行業，需要數萬億的token來做語料訓練。如果要打造行業模型，我們需要使用LLMOps工具來做預訓練模型，來做SFT監督微調，或者 RLHF基于人類反饋的強化學習來調整結果，這樣我們就可以得到一個行業模型。現在經過近一年的嘗試我們發現也有一個問題，行業模型跟通用模型的訓練代價一模一樣，還是需要從底向上完全重來一遍，它的難度跟通用大模型是相當的。

　　其實有一些高性價比的方法幫助大家構建行業大模型，這是微軟給出兩種方法。一種是微調（Fine-Tuning），通過構造一個指令集來訓練通用大模型，讓它能夠完成行業相關的特定任務。這種方案需要構造的樣本數量只需要幾千至幾萬個，它比深度學習方法的好處是樣本數量不用太多。比如以前我們做圖象識別的標注需要100萬個樣本才可以達到一定的準確度，現在幾千個樣本就可以實現。第二個用文本嵌入（Embeddings）的方法，用向量數據庫把行業知識放到數據庫中，把一個詞變成向量嵌入到向量數據庫中去，在問問題的時候先把問題向量化后，再在向量庫搜索，找到相似的資料，再把相似的資料組成提示詞發給大模型，讓大模型進行回答。這種方法比較經濟，能夠立刻讓你的大模型具備行業知識，比如政務法律法規的知識、政務福利補貼的知識、金融行業資訊都可以用這個方法打造。

　　通過大模型的不斷落地實踐我們發現，整個軟件開發棧正在發生比較大的變化。從底到上以前是以CPU為核心，現在是以GPU為核心，一個GPU計算量一張卡可以達到幾百個TFLOPS，不光是算力、功耗全部集中在一個GPU上，一臺機器絕大部分的成本也在GPU上。數據庫層以前是關系型數據庫，現在以向量數據庫庫為主，它可以作為一個工具的外掛存儲。在模型層，需要基于大模型進行微調，因為在完成特定的下游任務的時候，不微調的模型效果還是比較糟糕的，因此需要一系列的工具來提升模型效果。這個LLMOps工具鏈跟以前的MLOps工具鏈也有比較大的不同。在有了算力、訓練框架工具鏈及基礎模型之后，可以基于這些基礎設施進行應用開發，打造行業的大模型，再基于行業大模型，讓各類應用百花齊放。

　　所以整體的硬件和軟件開發棧，以及生態和供應鏈都發生了很大的變化。其中第一個是我們需要有一個工具鏈去做大模型的訓練，包含三個步驟，要做預訓練，要做SFT，以及RLHF。這個LLMOps工具鏈對原來的MLOps工具鏈也進行了比較大的補充，并且需要配合知識庫來做提示工程，才能構建一個行業大模型的應用。

　　最后講一下向量數據庫，它會在三個方向補償通用大模型。第一，可以把最新的知識放到向量數據庫中去，因為大模型預訓練的時間非常長，通常幾個月到一年時間。預訓練的知識通常是幾個月前的知識，如果這些最新的知識放到向量數據庫中去，提問的時候就可以從向量數據庫中獲取最新的咨詢。這個相當于大模型有一個“短期記憶”，但是向量數據庫可以讓大模型擁有“長期記憶”，大量信息可以放到向量庫中去。一些專業領域的知識可能不一定適合訓練給大模型，就可以放到向量數據庫中，也有可能公司的一些機密信息，因為大模型回答的時候不能區分訪問權限，我們需要給不同級別的人，設置不同的訪問信息權限。我們可以把領域知識放到這個向量數據庫中，當然還有一些個人的偏好習慣也可以放到向量數據庫中，從而構建一個更加個性化的行業模型。

　　下面介紹一個例子，我們星環科技做的金融大模型，也是使用LLMOps工具打造的，通過預訓練和微調來實現的。看一下這個視頻。

　　我們可以看到，通過預訓練和微調打造一個金融大模型，可以具備一定的能力，能理解金融行業的術語，也能夠對現有的資訊年報進行總結。大家也看到它有初步的分析能力，對某些新聞事件對于行業板塊的影響可以進行推理和分析。

　　總的來說，在AI大模型時代，整個軟件開發棧都發生了比較大的變化，從底向上從硬件到軟件都充滿了變革，這個時代我們發現也出現了很多新的機會，每個行業都可以使用大模型來把原來的應用進行增強或重構，從而開啟人機交互的新時代。

　　謝謝大家。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：梁斌 SF055