“2023中國AIGC產業發展論壇”于9月4日在北京召開。智譜 AI CEO張鵬出席并演講。

　　以下為演講實錄：

　　張鵬：非常榮幸能夠有機會來到現場與大家分享我們的工作。

　　首先，關于大模型的元年到底是哪一年的問題，其實大家有不同的說法，其中比較主流的一種看法是從大模型真正能夠可用開始，即2020年的GPT-3。因為大家也知道GPT-3之前的GPT-1和GPT-2，其效果并不是那么好。直到到GPT-3 ，參數推到150億，大模型才具有了我們之前想象不到的能力。從2020年開始大模型真正可用，從那時起很多人開始關注大模型，并參與大模型相關的工作。

　　借這個機會，簡單介紹一下智譜AI。智譜AI于2019年正式成立。在公司成立之初，我們的愿景是“讓機器像人一樣思考”，而大模型則是我們實現這個愿景非常重要的階梯。自公司成立之初我們就關注大模型底層的技術、算法。到2021年的時候，基于我們自己研發的算法框架，訓練出了我們第一個百億級的開源大模型。到2022年8月份，我們的成果就陸續地有所體現。從千億級的高精度的開源大模型GLM-130B到百億的代碼生成模型CodeGeeX，到支持一百多種語言的多語言Transformer模型，都是基于我們之前的學術上的研究以及成果所誕生的新型的模型，在2022年陸續發布。這些模型發布后我們都進行了開源，希望更多的人關注我們中國自己的研發的大模型和相應的技術，最近我們也面向公眾發布了AI助手APP智譜清言，大家可以在各大應用商店進行下載。

　　是什么讓我們這樣一家創業公司能獲得這樣一個成果？這就需要提到我們對于大模型或者生成式人工智能底層算法深厚的積累。我們的團隊是從清華大學實驗室孵化出來的，大部分伙伴都是從基礎研究以及相關工程應用開始做起，我們對于驅動大模型，驅動生成式AI往前進的底層原理非常清楚。所以我們在開始做自己大模型的時候，就堅定了一條路：我們要從最底層的算法開始做，這也是驅動我們做智譜AI自研算法的動力。

　　可以看到這里有一個簡單的動圖展示我們模型的能力。剛才有嘉賓在演講時介紹過，GPT是不斷去做線性往后的預測，我們這個模型有一個特點，除了能做線性的預測，還有一個能力，就是即便把一段文本中間的字遮掉，也可以可以彌補預測回來，增強了模型對語言的理解能力。我們講以前GPT對于語言的預測能力或者生成能力非常強，但是對語義的理解能力在早期的時候甚至還不如小模型，我們很好地融合了這兩種模型的優點，得到了GLM雙語大模型。

　　訓練這樣一個大模型花費了我們很多的時間與精力，在工程、算法上做了很多艱辛的探索，并基于此打造了我們的GLM-130B千億基座模型，因為設計的時候就是對標GPT-3，即當時最領先的模型，我們也與其進行了全面的對比。在英文能力上，我們比GPT-3表現得稍好一些，在中文上由于訓練語料更平衡，訓練得更充分，在中文上的效果比GPT-3純英文的模型好很多，甚至比國內之前更大規模的中文大模型效果更好。在推理的效果以及訓練的速度上我們也有更好的表現。除了對算力的需求巨大以外，推理過程中也仍然需要巨大的算力，經過我們的量化壓縮之后成本縮減到1/10，還可以得到7-8倍的提速。同時我們做了一件很自豪的事情，就是和國產算力芯片廠商一起合作做模型算法適配，在算法端推理端適配國產芯片。

　　GLM-130B訓練完之后，我們也面向全世界的科研機構和研究者進行開源開放，獲得了非常多的關注，目前為止超過70個國家的1000多家機構申請試用，這包括一些非常著名的科研機構以及一些頂尖的科技企業。

　　去年11月份的時候斯坦福做了一個評測，收錄了全球一定規模以上的知名大模型進行評測，在這個評測中唯一入選的中國模型就是GLM-130B。

　　基于GLM-130B我們也開發了自己的對話模型ChatGLM，擁有雙語的對話能力并實現了人類意圖的對齊以及邏輯的增強，大家可以來體驗。

　　同時我們也開放了一個小一些的模型，因為除了大的千億級的模型以外，還需要各種類型、參數小一些、效率更高的模型，更方便大家去研究學習和探索，我們開源了ChatGLM-6B，一個62億參數的模型，經過量化之后，可以在一張6GB的顯卡上進行運行，市面上可以買到的稍微好一點的游戲筆記本就可以運行這樣的大模型。ChatGLM-6B發布第一天就有人在B站直播怎么樣在筆記本上運行這個模型。目前為止在全球范圍不完全統計，ChatGLM-6B下載量已經超過800萬，在開源社區當中已有200多個開源項目基于該開源模型進行研發。科技部發布的《中國人工智能大模型地圖研究報告》顯示，ChatGLM-6B位居開源模型影響力排行榜第一名。   

　　我們也在不斷改進提升，6月我們對整個ChatGLM系列做了全面的升級，除了6B和130B，我們在中間加入了12B、32B、66B版本。除了模型體積參數量有變化之外，最重要的是性能上的提升，從簡單文字的理解或者語言的理解，到中文跨學科復雜問題的理解，再到處理問題的推理能力上都得到了非常大的提升，尤其是在處理問題能力上，有3-6倍的提升。可以理解為以前它只是一個小學二三年級的水平，現在已經具備初中生接近高中生的能力，能解答稍微復雜一些的數學問題。當然在面臨更難問題的時候，還需要更多的訓練。

　　同時為了滿足更多的應用場景下的需求，我們做了很多的提升，包括像更長的上下文的支持，大家都知道讓一個模型幫你寫一個總結報告，你能塞多少東西進去讓它去讀，這個是一個很關鍵的因素，ChatGLM2的上下文長度最高擴展到了32倍。我們也做了很多的推理優化，在不改變或不提升算力需求的前提下，讓整個推理速度提升42%。大家可以對比這兩個動圖，整體上能看到效果，右邊這個是我們新的推理效果，回答生成速度基本上已經超過大家平均的閱讀速度，體驗更好。

　　8月31日，我們基于ChatGLM2推出了名為智譜清言的AI助手，目前在各大應用商店都可以下載APP，智譜清言可以協助用戶實現生產力的提升，我們提供了數百個使用場景的參考，用戶可以根據使用需求去挑選，例如讓智譜清言寫軟文文案，如果生成的文案不滿意，可以告訴它需要改進的地方，重新。相信大家能夠在日常的生活學習工作中體驗到AI助手帶來的便利。當然我們面向B端的客戶也提供了完整的MaaS 服務（Model as a Service），可以輕松構建自己的私有化大模型，也有多種類型的解決方案，包括調用API等更輕量級的服務，讓千億級的高精度的大模型被更多人使用。

　　最后，我們希望大模型生態能有更多來自底層的支持，所以智譜AI與多家國內硬件廠商、芯片廠商在合作，開展多平臺大模型硬件適配，我們啟動了一個GLM國產芯片適配計劃，面對不同類型的用戶不同類型的芯片提供不同等級的認證和測試，希望能夠與大家攜手，共同打造一個更完善的大模型生態，謝謝。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：梁斌 SF055