微軟AI主管談AI趨勢(shì):大小模型將“齊頭并進(jìn)”,“規(guī)模法則”遠(yuǎn)沒(méi)有到極限

微軟AI主管談AI趨勢(shì):大小模型將“齊頭并進(jìn)”,“規(guī)模法則”遠(yuǎn)沒(méi)有到極限
2024年11月03日 13:47 市場(chǎng)資訊

@全體股民:《投資研報(bào)》巨額特惠,滿3000減1000,滿1500減500!【歷史低價(jià)手慢無(wú),速搶>>

  來(lái)源:硬AI 

  至少在接下來(lái)的兩三年內(nèi),“規(guī)模法則”在提供超預(yù)期表現(xiàn)方面的進(jìn)度不會(huì)有任何放緩。

  在近日的一次訪談中,微軟AI主管Mustafa Suleyman深入探討了人工智能領(lǐng)域的最新趨勢(shì)。他認(rèn)為,未來(lái)幾年AI模型將呈現(xiàn)大小模型“齊頭并進(jìn)”的趨勢(shì)。

  一方面,大型模型的規(guī)模化競(jìng)賽仍將持續(xù),并融入更多模態(tài)的數(shù)據(jù),例如視頻、圖像等。另一方面,利用大型模型訓(xùn)練小型模型的技術(shù)(如蒸餾)興起,高效的小型模型將在特定場(chǎng)景中發(fā)揮巨大作用。Suleyman補(bǔ)充稱(chēng),未來(lái),知識(shí)將被濃縮到更小、更便宜的模型中,嵌入各種設(shè)備,實(shí)現(xiàn)真正的環(huán)境感知革命。

  對(duì)于創(chuàng)業(yè)者而言,Suleyman認(rèn)為,理解并利用提示工程至關(guān)重要。通過(guò)提供高質(zhì)量的指令集,創(chuàng)業(yè)者可以引導(dǎo)預(yù)訓(xùn)練模型,使其符合自身品牌價(jià)值觀,打造獨(dú)特產(chǎn)品。此外,小型模型蘊(yùn)藏著巨大機(jī)會(huì),創(chuàng)業(yè)者可以利用其低成本和高效性,開(kāi)發(fā)針對(duì)特定用例的應(yīng)用。

  采訪中,Suleyman還強(qiáng)調(diào)了數(shù)據(jù)整合的重要性。合成數(shù)據(jù)將成為訓(xùn)練模型的關(guān)鍵,但如何獲取、整合這些數(shù)據(jù)仍需深入探討。

  此外,這位微軟AI主管還談到了新模式的加入,例如視頻和圖像的整合,以及跨復(fù)雜數(shù)字界面的動(dòng)作軌跡的理解和數(shù)據(jù)收集。他認(rèn)為,這將帶來(lái)許多令人印象深刻的結(jié)果。對(duì)于企業(yè)家來(lái)說(shuō),如何利用這些新趨勢(shì)和技術(shù)進(jìn)行創(chuàng)新,將是未來(lái)成功的關(guān)鍵。

  以下為全文內(nèi)容,大家enjoy~ ??(為增加可讀性,我們對(duì)原文進(jìn)行了簡(jiǎn)要編輯)

  Q:未來(lái)幾年,在不斷發(fā)展的模型 (models) 格局中,有哪些事情值得關(guān)注?

  A:模型的規(guī)模既在變大,也在變小,這種趨勢(shì)幾乎肯定會(huì)繼續(xù)下去。

  去年開(kāi)始流行一種新方法,稱(chēng)為蒸餾。這類(lèi)方法利用大型、高成本模型來(lái)訓(xùn)練小型模型。這種監(jiān)督效果相當(dāng)不錯(cuò),目前已有充分的證據(jù)支持這一點(diǎn)。

  因此,規(guī)模仍然是這場(chǎng)競(jìng)爭(zhēng)中的關(guān)鍵因素,未來(lái)還有很大的發(fā)展空間,數(shù)據(jù)量也將持續(xù)增長(zhǎng)。

  至少在接下來(lái)的兩三年內(nèi),“規(guī)模法則”在提供超預(yù)期表現(xiàn)方面的進(jìn)度不會(huì)有任何放緩。

  Q: 還有哪些新的模式可以加入?

  A: 人們也在考慮將視頻、圖像以及跨復(fù)雜數(shù)字界面的動(dòng)作軌跡等新的模態(tài)融入模型中。

  但我們真正感興趣的是跨復(fù)雜數(shù)字界面的動(dòng)作軌跡,比如從瀏覽器跳到桌面,再轉(zhuǎn)移到手機(jī),從不同的生態(tài)系統(tǒng)中切換,無(wú)論是在封閉的花園還是開(kāi)放的網(wǎng)絡(luò)中。

  我們?cè)噲D理解這些軌跡,收集大量數(shù)據(jù),使用監(jiān)督學(xué)習(xí)和微調(diào)等方法。我認(rèn)為這將帶來(lái)許多令人印象深刻的結(jié)果。

  Q: 在數(shù)據(jù)方面,人們?cè)谀男┓矫嫠伎嫉貌粔蚨啵?/font>

  A: 數(shù)據(jù)的討論角度很多,經(jīng)典的問(wèn)題是哪些數(shù)據(jù)可以使用及其質(zhì)量。我認(rèn)為網(wǎng)上已經(jīng)有大量討論。

  但人們沒(méi)有花足夠時(shí)間思考新數(shù)據(jù)的來(lái)源,以及如何整合這些數(shù)據(jù)。

  例如,合成數(shù)據(jù)是一個(gè)有趣的領(lǐng)域,如果我們有這樣的數(shù)據(jù),可以訓(xùn)練出更好的小模型和大模型。如何獲取這些數(shù)據(jù)并確保其整合是一個(gè)關(guān)鍵問(wèn)題。但是如何獲取這些數(shù)據(jù)并確保它們被整合起來(lái),這一點(diǎn)還沒(méi)有得到足夠的討論。

  Q:在處理模型時(shí),提示 (prompt) 和問(wèn)題 (question) 之間有什么區(qū)別?

  A:提示不僅僅是你問(wèn)聊天機(jī)器人的問(wèn)題。當(dāng)你問(wèn)聊天機(jī)器人一個(gè)問(wèn)題,那是一個(gè)問(wèn)題;當(dāng)你寫(xiě)一個(gè)三頁(yè)的風(fēng)格指南并附上模仿的例子,那是一個(gè)提示。

  提示是你的高質(zhì)量指令集,指導(dǎo)預(yù)訓(xùn)練模型以特定方式行為。令人驚訝的是,模型只需幾頁(yè)指令就能表現(xiàn)得非常不同。

  為了讓模型表現(xiàn)出細(xì)微、精準(zhǔn)和符合品牌價(jià)值的行為,你需要展示成千上萬(wàn)個(gè)良好行為的例子,并將這些例子微調(diào)到模型中。這是預(yù)訓(xùn)練過(guò)程的延續(xù),使用高質(zhì)量且準(zhǔn)確的數(shù)據(jù)。

  好消息是,成千上萬(wàn)個(gè)例子對(duì)許多細(xì)分領(lǐng)域或特定垂直領(lǐng)域來(lái)說(shuō)是非常容易獲得的。這是一個(gè)優(yōu)勢(shì),初創(chuàng)公司在高質(zhì)量微調(diào)預(yù)訓(xùn)練模型方面有很大的空間。

  Q:小模型會(huì)帶來(lái)哪些機(jī)會(huì)?創(chuàng)業(yè)者如何利用它們做一些有趣且獨(dú)特的事情?

  A:小模型無(wú)疑代表著未來(lái)。

  大型模型在處理查詢時(shí)會(huì)激活數(shù)十億個(gè)不相關(guān)的神經(jīng)表示,盡管它們非常高效地進(jìn)行搜索和引用數(shù)億個(gè)節(jié)點(diǎn),但并不總是必要的。

  我們將把知識(shí)濃縮到更小、更便宜的模型中,這些模型可以駐留在各種設(shè)備上,如耳塞、可穿戴設(shè)備、耳環(huán)、植物或傳感器。

  這場(chǎng)環(huán)境感知革命長(zhǎng)期以來(lái)一直被人們所期待,它將帶來(lái)功能性設(shè)備,例如一個(gè)冰箱磁鐵,冰箱磁鐵是我能想到的最小的數(shù)字設(shè)備。它可以在早上迎接你,告訴你天氣情況,告訴你冰箱里可能有什么或沒(méi)有什么,并提醒你查看日歷。

  它可以在早上歡迎你,告訴你天氣,告訴你冰箱里可能有什么或沒(méi)有什么,并提醒你查看日歷。

  這種模型可能只有幾千萬(wàn)個(gè)參數(shù)。雖然目前還沒(méi)有人真正推動(dòng)這一點(diǎn),但任何兩人團(tuán)隊(duì)都可以探索這一領(lǐng)域。

  Q:人們?cè)诮酉聛?lái)的兩天里應(yīng)該思考什么問(wèn)題?

  A:問(wèn)題是,技術(shù)人員需要為設(shè)計(jì)一個(gè)更加人性化的未來(lái)做些什么。

  這包括思考技術(shù)如何進(jìn)化人類(lèi),以及我們的情感、激情和同情心如何通過(guò)我們與技術(shù)不斷變化的關(guān)系來(lái)表達(dá)。

  Q:為什么說(shuō)這是一個(gè)轉(zhuǎn)型時(shí)刻?

  A:我們有足夠的證據(jù)表明,過(guò)去五十年的大技術(shù)轉(zhuǎn)型重塑了事物的結(jié)構(gòu)。

  我認(rèn)為這是一個(gè)創(chuàng)辦公司、擴(kuò)展公司、甚至轉(zhuǎn)變職業(yè)的時(shí)刻。即使你不是企業(yè)家,無(wú)論你是活動(dòng)家、組織者還是學(xué)者,現(xiàn)在是關(guān)注的時(shí)刻。

  到2050年,列車(chē)將離站,情況會(huì)大不相同。我們現(xiàn)在有機(jī)會(huì)共同塑造和影響未來(lái),沒(méi)有什么是預(yù)定的。我們非常幸運(yùn)能在這個(gè)時(shí)刻活著,這既是巨大的責(zé)任,也是令人振奮的機(jī)會(huì)。

  市場(chǎng)有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。

海量資訊、精準(zhǔn)解讀,盡在新浪財(cái)經(jīng)APP

責(zé)任編輯:王許寧

AI 微軟 創(chuàng)業(yè)者

VIP課程推薦

加載中...

APP專(zhuān)享直播

1/10

熱門(mén)推薦

收起
新浪財(cái)經(jīng)公眾號(hào)
新浪財(cái)經(jīng)公眾號(hào)

24小時(shí)滾動(dòng)播報(bào)最新的財(cái)經(jīng)資訊和視頻,更多粉絲福利掃描二維碼關(guān)注(sinafinance)

股市直播

  • 圖文直播間
  • 視頻直播間

7X24小時(shí)

  • 11-08 壹連科技 301631 --
  • 11-08 金天鈦業(yè) 688750 --
  • 10-29 聚星科技 920111 6.25
  • 10-25 港迪技術(shù) 301633 37.94
  • 10-25 健爾康 603205 14.65