高校為何難出大模型

高校為何難出大模型
2023年08月25日 01:40 第一財經

安裝新浪財經客戶端第一時間接收最全面的市場資訊→【下載地址

  作者: 金葉子

  [ 和團隊率先在國內發布了具備 ChatGPT 能力語言模型MOSS的復旦大學計算機學院教授邱錫鵬表示,大模型更頂尖的研究機構在業界,這是一個不可回避的事實。從DeepMind再到OpenAI,都是如此。美國的很多著名高校,從研究實力上看已經落后于這些頂級的研究院了。 ]

  ChatGPT誕生至今已過去9個多月,大模型在產業界和學界的最新進展有哪些?

  在8月24日舉行的2023世界人工智能大會(WAIC)青年優秀論文獎頒獎儀式暨青年科學家論壇上,談到大模型為何難以首先誕生在高校,同濟大學計算機系副主任何良華教授認為,學界之所以很難出現ChatGPT這樣的模型,主要是算力和數據的問題。

  何良華說,大模型非常吃算力,高校也難以去購買大量的算力。而有了算力之后,要把參數訓練得比較成熟,需要海量的數據,但是學界是拿不到這么多數據的。除了這兩個問題,還和學界自身的需求有關。“我們都期望在理論上做一些創新。比如我的學生如果跟我說現在需要幾千張卡(算力)來做一個事情,我所有的經費給他也不夠,課題也難以立項。因為它既不是應用,又不是理論,找不到這樣一筆經費,研究只能中斷。”

  和團隊率先在國內發布了具備 ChatGPT 能力語言模型MOSS的復旦大學計算機學院教授邱錫鵬表示,大模型更頂尖的研究機構在業界,這是一個不可回避的事實。從DeepMind再到OpenAI,都是如此。美國的很多著名高校,從研究實力上看已經落后于這些頂級的研究院了。

  邱錫鵬解釋,學校和研究院的差異還是在于自由的探索。對于很多研究院來講,長期的目標還是奔著盈利,包括國內很多企業之前也建了很多研究院,過不了幾年就發現可能面臨著盈利、變現的壓力,導致做的研究不是特別純粹。在他看來,OpenAI的團隊是一個以前沒有出現過的形態,這種制度設計非常好,能使團隊既能堅持本心做研究,同時也沒有那么大的壓力。

  “在學校的話還是要發揮學校的長處,做的研究沒有太多的盈利要求或面臨短期變現的壓力,也可以思考得更長遠。特別在如今高算力要求的情況下,在學術界和產業界的研究院之間,還是可以發揮學術界的優勢。”他說。

  上海科技大學生物醫學工程學院常任助理教授錢學駿則認為,工業界做出的很多創新性和比較有影響力的工作,可能不是學界追求的主要目標。“學界可能更想(發明)一種思路上的想法,而不是通過大算力、大數據,集中各方面的優勢做出來的,對學界來說這些也不夠有優勢,無法獲得大量數據。”

  華為諾亞方舟實驗室AI研究員謝恩澤說,怎么構建高質量的數據集,可能是對于大模型一個很重要的補充。模型本身來說,用多大的模型配多大的數據以及用多長時間,這也是很重要的,而這些只有在大廠才有機會接觸一些資源。

  今年以來,生成式人工智能的發展成為地方政府和科技大廠瞄準的關鍵詞。科技部人工智能發展研究中心5月底發布的《中國人工智能大模型地圖研究報告》顯示,當前國內10億參數規模以上的大模型已發布79個。

  在不久前的浦江基礎科學發展論壇上,清華大學人工智能研究院常務副院長孫茂松教授對第一財經表示,我國乃至全球發展大模型最終的突破關鍵,是基礎科學的突破。

  他說,對于大模型,當前的問題在于并不清楚OpenAI的機理是如何運作的,就連推出ChatGPT的OpenAI公司首席執行官薩姆·奧特曼也表示,雖然做出了GPT但也不清楚發生的原理,“實際上就是對這個機理還不清楚”。他認為,現有的人工智能模型已經能做到說話通順,但這個問題的內在實現邏輯仍然十分復雜。如果弄清楚了大模型里的規律、ChatGPT背后的機理,就有可能克服現有人工智能大模型的局限性,建立下一代人工智能的理論和模型。

海量資訊、精準解讀,盡在新浪財經APP

責任編輯:李桐

VIP課程推薦

加載中...

APP專享直播

1/10

熱門推薦

收起
新浪財經公眾號
新浪財經公眾號

24小時滾動播報最新的財經資訊和視頻,更多粉絲福利掃描二維碼關注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時

  • 09-04 斯菱股份 301550 --
  • 08-30 熱威股份 603075 --
  • 08-29 福賽科技 301529 --
  • 08-28 中巨芯 688549 5.18
  • 08-28 威爾高 301251 28.88
  • 新浪首頁 語音播報 相關新聞 返回頂部