作者 | Livy Investment Research

　　編譯 | 美股研究社

　　01

　　摘要

　　最近幾周有很多關(guān)于OpenAI的ChatGPT和底層的GPT-3語言模型（“LLMs”）是否會(huì)對谷歌搜索的未來構(gòu)成潛在威脅的討論。

　　大部分談話都圍繞著谷歌的LaMDA聊天機(jī)器人是否能夠超越ChatGPT，或者是否足以避免中斷。

　　但是，如果深入研究谷歌在LLMs領(lǐng)域的嘗試，就會(huì)發(fā)現(xiàn)不太被人關(guān)注的Pathways AI基礎(chǔ)設(shè)施，它在為其下一代PaLM LLMs提供動(dòng)力，其規(guī)模是GPT-3的3倍。

　　以下分析將概述OpenAI和谷歌在LLMs方面的最新進(jìn)展，并評估它們對這家科技巨頭長期前景的影響。

　　鑒于谷歌（NASDAQ：GOOGL，NASDAQ：GOOG）在過去十年中成長起來的龐大規(guī)模，就其資產(chǎn)負(fù)債表和在廣告、視頻流媒體和云計(jì)算等各種數(shù)字垂直領(lǐng)域的市場份額而言，投資者已逐漸將重點(diǎn)從利潤豐厚的份額增長轉(zhuǎn)移到可持續(xù)性。

　　具體來說，市場關(guān)注的是谷歌將如何繼續(xù)保持其市場領(lǐng)先地位，并在顛覆性的情況下保持長期增長和盈利軌跡。

　　OpenAI最近發(fā)布的ChatGPT讓人們對谷歌商業(yè)模式的可持續(xù)性產(chǎn)生了更大的興趣和關(guān)注，尤其是谷歌搜索和廣告，這是谷歌的主要業(yè)務(wù)。ChatGPT讓公眾得以一窺當(dāng)今大型語言模型LLMs的能力。

　　不可否認(rèn)，這引發(fā)了人們對谷歌在在線搜索引擎領(lǐng)域的市場領(lǐng)導(dǎo)地位是否面臨即將被顛覆的風(fēng)險(xiǎn)的猜測和分析。諷刺的是，在收集相關(guān)信息的過程中，谷歌搜索可能是訪問量最大的目的地。

　　不管怎樣，我們認(rèn)為OpenAI最近發(fā)布的ChatGPT公開試用對谷歌來說是一個(gè)積極的消息。雖然最初的反應(yīng)可能是ChatGPT很可能通過提供更準(zhǔn)確的答案來取代谷歌，更不用說更方便的搜索過程，可以節(jié)省在搜索結(jié)果中滾動(dòng)的時(shí)間，但它也吸引了人們對LLMs的興趣和好奇心。更具體地說，最近對OpenAI ChatGPT的關(guān)注可能會(huì)讓人們更了解谷歌在該領(lǐng)域所做的事情。

　　以下分析將概述谷歌在LLMs領(lǐng)域所做的工作，與OpenAI的GPT-3（目前支持ChatGPT）相比如何，并介紹上述發(fā)展對谷歌核心業(yè)務(wù)（即搜索廣告）的關(guān)鍵影響。雖然承認(rèn)ChatGPT對谷歌搜索的威脅是受歡迎的，但我們相信科技巨頭穩(wěn)健的資產(chǎn)負(fù)債表，對創(chuàng)新的堅(jiān)定承諾，龐大的市場份額仍然是支撐其長期增長軌跡可持續(xù)性的關(guān)鍵因素。

　　02

　　ChatGPT

　　ChatGPT的首次亮相對谷歌來說并不全是壞事。是的，聊天機(jī)器人可能導(dǎo)致谷歌的股票在最近幾周相對于同行和大盤表現(xiàn)不佳，但它也引起了人們對法學(xué)碩士、技術(shù)現(xiàn)狀以及更重要的谷歌的更多興趣和關(guān)注。

　　我們最近對微軟（Microsoft）和Twilio進(jìn)行了一系列報(bào)道，分析了OpenAI的技術(shù)可能如何影響各自的業(yè)務(wù)模式。我們從評論中觀察到，目前投資者的注意力主要集中在ChatGPT本身，而不是支撐它的底層LLM——GPT-3。但重要的是要承認(rèn)，真正的威脅不是聊天機(jī)器人，而是GPT-3及其后繼者將要顛覆的垂直領(lǐng)域。

　　那么LLMs和GPT-3到底是什么？

　　如前所述，人工智能中的語言模型是能夠從大量數(shù)據(jù)集中學(xué)習(xí)的變壓器，隨著時(shí)間的推移提高輸出：

　　解決NLP系統(tǒng)局限性的一個(gè)潛在途徑是元學(xué)習(xí)，在語言模型的背景下，這意味著模型在訓(xùn)練時(shí)開發(fā)了廣泛的技能和模式識別能力，然后在推理時(shí)使用這些能力快速適應(yīng)或識別所需的任務(wù)。語境學(xué)習(xí)使用預(yù)訓(xùn)練語言模型的文本輸入作為任務(wù)規(guī)范的一種形式。該模型以自然語言指令和/或一些任務(wù)演示為條件，然后通過簡單地預(yù)測接下來會(huì)發(fā)生什么來完成任務(wù)的進(jìn)一步實(shí)例。

　　這一領(lǐng)域一直在快速發(fā)展，從我們可能每天都在不知不覺中面對的谷歌“BERT”，到12月的亮點(diǎn)功能GPT-3。

　　GPT-3是目前市場上最大的語言模型之一，擁有1750億個(gè)參數(shù)。為了更好地了解GPT-3的性能：

　　GPT-3比其前身“GPT-2”（僅由15億個(gè)參數(shù)組成）大100多倍，比微軟在2020年推出的“圖靈NLG”語言模型（由170億個(gè)參數(shù)組成）大10倍。這表明GPT-3具有更強(qiáng)的性能和適用性，其超越其他自然語言處理（NLP）系統(tǒng)、語音識別和推薦系統(tǒng)的“微調(diào)最先進(jìn)算法”（“SOTA”）的能力進(jìn)一步證實(shí)了這一點(diǎn)。GPT-3擁有1750億個(gè)參數(shù)，可以在“少射”設(shè)置下實(shí)現(xiàn)80%以上的響應(yīng)精度。

　　來源：《OpenAI影響分析：微軟、谷歌和英偉達(dá)》

　　正如前面提到的，當(dāng)今對許多現(xiàn)有科技公司的真正威脅不是ChatGPT，而是底層的GPT-3模型本身。LLMs可以應(yīng)用于聊天機(jī)器人以外的垂直領(lǐng)域：

GPT-3沒有被編程去做任何特定的任務(wù)。它可以作為聊天機(jī)器人、分類器、摘要器和其他任務(wù)執(zhí)行，因?yàn)樗梢岳斫膺@些任務(wù)在文本層面上的樣子。

資料來源：Andrew Mayne， OpenAI的科學(xué)傳播者

　　GPT-3在“不同類別和行業(yè)，從生產(chǎn)力和教育到創(chuàng)意和游戲”的300個(gè)應(yīng)用程序上的部署就是一個(gè)很好的例子。LLMs已被證明能夠?qū)崿F(xiàn)“閃電般的語義搜索”，為游戲中的“新類型的互動(dòng)故事”提供動(dòng)力，并生成“從客戶反饋中以易于理解的摘要中獲得有用的見解”——這些功能遠(yuǎn)遠(yuǎn)超出了通過ChatGPT演示的提示和響應(yīng)功能。

　　但是，正如最近幾周在互聯(lián)網(wǎng)上傳播的ChatGPT的反應(yīng)所觀察到的那樣，令人印象深刻的GPT-3語言模型仍然有工程師們正在試圖解決的局限性，包括輸出的準(zhǔn)確性。更具體地說，ChatGPT實(shí)際上是由GPT-3的改進(jìn)版本提供支持的，稱為“GPT-3.5”。

　　OpenAI已經(jīng)在致力于LLMs的下一代版本，該版本可以更好地優(yōu)化多垂直部署并最終實(shí)現(xiàn)貨幣化。如前所述，“WebGPT”已經(jīng)解決了GPT-3 / GPT-3.5在響應(yīng)的準(zhǔn)確性和相關(guān)性方面的一些關(guān)鍵限制：

WebGPT經(jīng)過訓(xùn)練，可以實(shí)時(shí)梳理互聯(lián)網(wǎng)上可用的數(shù)據(jù)，以生成更準(zhǔn)確的響應(yīng)，解決了GPT-3模型目前只能通過截至2021年的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的限制……WebGPT還可以在其響應(yīng)中引用來源，解決了對ChatGPT吐出的當(dāng)前響應(yīng)的準(zhǔn)確率的擔(dān)憂。與此同時(shí)，研究人員和工程師仍在努力更好地完善這種能力，以便該模型能夠梳理和“挑選”最可靠和準(zhǔn)確的來源。

來源：《Twilio：尚未盈利，已經(jīng)過時(shí)》

　　03

　　谷歌的決心

　　但谷歌在LLMs方面并不落后。事實(shí)上，谷歌目前是該領(lǐng)域的領(lǐng)先研究人員之一。

　　BERT由谷歌開發(fā)，使搜索能夠更好地理解查詢和提示。LLMs能夠在谷歌上提供“更有用的搜索結(jié)果”，并強(qiáng)調(diào)了自2000年代以來在線搜索引擎已經(jīng)走了多遠(yuǎn)，當(dāng)時(shí)看到“機(jī)器學(xué)習(xí)糾正拼寫錯(cuò)誤的搜索查詢”已經(jīng)是一個(gè)驚喜。

　　BERT是當(dāng)今的一個(gè)開源框架，它已經(jīng)在谷歌搜索之外的廣泛垂直領(lǐng)域中集成，這些領(lǐng)域要求計(jì)算機(jī)更好地理解文本提示，并實(shí)現(xiàn)類似人類的響應(yīng)。相關(guān)功能包括“情緒分析”，BERT通過梳理和理解電子郵件和信息等數(shù)字?jǐn)?shù)據(jù)來評估意見和情緒。

　　但是谷歌所做的不僅僅是BERT。“LaMDA”（對話應(yīng)用程序語言模型）就是其中之一，自去年推出以來，它已經(jīng)獲得了巨大的吸引力——盡管并不都是好的。LaMDA是谷歌一直在研究的最先進(jìn)的LLMs之一。與GPT-3不同的是，它沒有被配置為執(zhí)行任何特定任務(wù)，LaMDA是“對話訓(xùn)練”：

“對話應(yīng)用程序語言模型”（LaMDA）也在今年的I/O活動(dòng)上公布的。LaMDA被訓(xùn)練參與對話，以幫助谷歌更好地理解“搜索查詢的意圖”。雖然LaMDA仍處于研究階段，但最終將突破性技術(shù)集成到谷歌搜索中，不僅會(huì)使搜索引擎更加友好，而且還會(huì)使搜索結(jié)果具有更高的準(zhǔn)確性。

　　它本質(zhì)上是一個(gè)以聊天機(jī)器人為導(dǎo)向的LLMs，它最常被鏈接到關(guān)于它是否可以有知覺的討論中。在最近幾周，當(dāng)涉及到尋找與ChatGPT接近的可比性時(shí)，LaMDA也是一個(gè)明星人物。由于LaMDA仍處于封閉測試階段，只有少數(shù)用戶可以使用，因此關(guān)于它的性能幾乎沒有披露（盡管最近泄露的文字記錄引發(fā)了關(guān)于LaMDA是否有感知能力的爭論，顯示LaMDA非常聰明，能夠理解文本并提供足夠的響應(yīng)）。

　　但是LaMDA只有1370億個(gè)參數(shù)，與前面討論的GPT-3的1750億個(gè)參數(shù)相差甚遠(yuǎn)。雖然用于訓(xùn)練LLMs的數(shù)據(jù)量并不是其性能和準(zhǔn)確性的唯一驅(qū)動(dòng)因素，特別是考慮到GPT-3和LaMDA是為不同的功能而創(chuàng)建的，但兩者中參數(shù)數(shù)量的差異確實(shí)引起了人們對LaMDA是否是ChatGPT或廣義上的GPT-3的有力競爭者的更大審查。但至少LaMDA證明了谷歌在LLM競賽中并沒有完全出局，而且實(shí)際上是上述創(chuàng)新發(fā)展的關(guān)鍵人物。

　　除了LaMDA，還有“PaLM”（路徑語言模型）。PaLM是建立在谷歌的 “Pathway ”人工智能架構(gòu)上的，該架構(gòu)于2021年10月推出。Pathway使“單個(gè)模型可以被訓(xùn)練做數(shù)千件，甚至數(shù)百萬件事情”。

　　它是一種能夠“同時(shí)處理許多任務(wù)、快速（學(xué)習(xí)）新任務(wù)并（反映）更好地理解世界”的架構(gòu)。這基本上消除了開發(fā)無數(shù)新模型來學(xué)習(xí)每個(gè)模塊化的單個(gè)任務(wù)的需求。Pathways基礎(chǔ)設(shè)施也是多模態(tài)的，這意味著它能夠同時(shí)處理所有文本、圖像和語音，以生成更準(zhǔn)確的響應(yīng)。

　　現(xiàn)在，回到PaLM， LLMs是建立在Pathways AI基礎(chǔ)設(shè)施上的，是一個(gè)通用模型，能夠執(zhí)行各種語言任務(wù)。從本質(zhì)上講，PaLM是GPT-3更接近的競爭者，因?yàn)樗袕V泛的用例，不像LaMDA被訓(xùn)練成特定于對話框的。它本質(zhì)上是一個(gè)“萬事通”。

　　與GPT-3相比，PaLM也可能具有更高的性能和精度。谷歌開發(fā)的最新LLMs具有5400億個(gè)參數(shù)，比GPT-3大3倍以上。OpenAI的GPT-3 LLM已經(jīng)證明了其在幾次射擊設(shè)置中超過80%的精度優(yōu)于微調(diào)SOTA算法的能力，PaLM也可以在“一套多步推理任務(wù)上優(yōu)于微調(diào)SOTA，并在最近發(fā)布的BIG-bench基準(zhǔn)測試中優(yōu)于平均人類表現(xiàn)”，這是一種標(biāo)準(zhǔn)化測試，包括150多個(gè)任務(wù)，旨在“探測大型語言模型并推測其未來能力”。

　　PaLM還在大范圍的BIG-bench任務(wù)上證明了“模型規(guī)模的間斷改進(jìn)”，這表明隨著模型規(guī)模的擴(kuò)大，性能將繼續(xù)急劇提高，而沒有明顯的減速：

我們還在Beyond the Imitation Game Benchmark （BIG-bench）上探索了PaLM正在出現(xiàn)的和未來的能力，這是最近發(fā)布的包含150多個(gè)新的語言建模任務(wù)的套件，并發(fā)現(xiàn)PaLM實(shí)現(xiàn)了突破性的性能。我們將PaLM的性能與Gopher和Chinchilla進(jìn)行了比較，在這些任務(wù)的58個(gè)共同子集中進(jìn)行了平均。

有趣的是，我們注意到PaLM的性能作為規(guī)模的函數(shù)遵循類似于先前模型的對數(shù)線性行為，這表明規(guī)模帶來的性能改進(jìn)還沒有穩(wěn)定下來。PaLM 540B 5-shot也比被要求解決相同任務(wù)的人的平均表現(xiàn)要好。

來源：谷歌

　　Scaling behaviour of PaLM on a subset of 58 BIG-bench tasks． （Google）

　　PaLM也是多語言的。它不僅能夠像GPT-3一樣理解多種語言的語言任務(wù)，而且還使用“英語和多語言數(shù)據(jù)集的組合，包括高質(zhì)量的網(wǎng)絡(luò)文檔、書籍、維基百科、對話和GitHub代碼”進(jìn)行訓(xùn)練，以提高響應(yīng)的準(zhǔn)確性。

　　盡管PaLM顯著的性能能力不可避免地意味著更大的計(jì)算能力需求，但LLMs在其規(guī)模的其他模型中實(shí)現(xiàn)了最高的訓(xùn)練效率（每秒57.8%的硬件浮點(diǎn)運(yùn)算利用率，或FLOPS，利用率），強(qiáng)調(diào)了其不僅在性能上，而且在效率上的強(qiáng)大能力。

　　04

　　對谷歌的影響

　　OpenAI的創(chuàng)始人兼首席執(zhí)行官Sam Altman表示，目前ChatGPT每條提示的平均成本為“個(gè)位數(shù)美分”，通過改變配置和使用規(guī)模，還可以進(jìn)一步優(yōu)化。對于谷歌來說，考慮到目前運(yùn)行搜索引擎的底層AI模型（如BERT）所涉及的復(fù)雜性和計(jì)算能力較低，今天通過搜索運(yùn)行每個(gè)查詢的成本可能會(huì)大大降低。

　　每天通過谷歌搜索的大量查詢可能也提高了平臺運(yùn)營的規(guī)模經(jīng)濟(jì)。谷歌今天從谷歌搜索上銷售的廣告中產(chǎn)生的收入也遠(yuǎn)遠(yuǎn)超過了運(yùn)行搜索引擎的成本。該公司目前擁有接近60%的毛利率，其中大部分來自其搜索廣告業(yè)務(wù)，這也吸收了谷歌云平臺（“GCP”）部門產(chǎn)生的重大損失。

　　但對谷歌來說，繼續(xù)將資本部署到LLMs和其他人工智能投資的開發(fā)上，仍將是一項(xiàng)昂貴的項(xiàng)目。然而，該公司有足夠的彈藥來實(shí)現(xiàn)這一目標(biāo)，并將其變?yōu)楝F(xiàn)實(shí)。它的優(yōu)勢包括非常穩(wěn)健的資產(chǎn)負(fù)債表、大量的第一方搜索數(shù)據(jù)和創(chuàng)新文化：

　　資產(chǎn)負(fù)債表優(yōu)勢：人工智能開發(fā)是一項(xiàng)資本密集型的工作，使得LaMDA和PaLM等LLMs的持續(xù)開發(fā)，以及用于搜索應(yīng)用程序和其他應(yīng)用程序的其他人工智能功能，成為一項(xiàng)昂貴的事業(yè)。然而，該公司仍然擁有可觀的凈現(xiàn)金頭寸，其現(xiàn)有廣告業(yè)務(wù)產(chǎn)生的利潤率令人印象深刻。

　　谷歌搜索如今不僅自給自足，而且還能夠產(chǎn)生所需的資金，以支持GCP等鄰近領(lǐng)域的增長，以及其他投資，包括與人工智能相關(guān)的研發(fā)。相比之下，OpenAI仍然是一家不盈利的企業(yè)，需要大量的外部融資來為其運(yùn)營提供資金，這使其在流動(dòng)性手段方面面臨相對更大的不確定性（例如，借貸成本上升的風(fēng)險(xiǎn)，融資渠道的不確定性等）。

　　第一方搜索數(shù)據(jù)和領(lǐng)先的市場份額優(yōu)勢：谷歌搜索目前每天的搜索請求接近100億次。這種實(shí)力也使其成為當(dāng)今最受歡迎的廣告形式之一，盡管該行業(yè)面臨周期性阻力。結(jié)果繼續(xù)證實(shí)了谷歌在用戶覆蓋面方面的優(yōu)勢，以保護(hù)其市場領(lǐng)導(dǎo)地位，前提是它繼續(xù)跟上搜索和其他人工智能技術(shù)的競爭創(chuàng)新。

　　谷歌的第一方搜索數(shù)據(jù)的巨大寶藏也為培訓(xùn)和實(shí)現(xiàn)其下一代LLMs的性能加分。舉例來說，OpenAI的下一代WebGPT模型經(jīng)過訓(xùn)練，可以通過微軟的必應(yīng)（Bing）對互聯(lián)網(wǎng)上可用的數(shù)據(jù)進(jìn)行實(shí)時(shí)搜索，這意味著谷歌的llm可以通過搜索完成相同或更多的任務(wù)。

　　創(chuàng)新的管理文化：谷歌除了經(jīng)營高增長和高盈利的業(yè)務(wù)外，還培養(yǎng)了持續(xù)創(chuàng)新的強(qiáng)大文化。公司了解創(chuàng)新對推動(dòng)持續(xù)增長、盈利能力和市場領(lǐng)先地位的重要性。由于沒有任何跡象表明該公司正在尋求穩(wěn)定，并從市場份額擴(kuò)張轉(zhuǎn)向保持，谷歌為持續(xù)創(chuàng)新設(shè)定了強(qiáng)烈的基調(diào)，這對于確保下一代LLMs開發(fā)的持續(xù)至關(guān)重要，以確保其未來的市場領(lǐng)導(dǎo)地位。

　　這一定性特征有效地將谷歌與互聯(lián)網(wǎng)時(shí)代的市場領(lǐng)導(dǎo)者區(qū)別開來，后者“未能利用計(jì)算的根本性轉(zhuǎn)變”，并防止在快速發(fā)展的科技行業(yè)中“陷入過時(shí)”。

PaLM通過將擴(kuò)展能力與新穎的架構(gòu)選擇和訓(xùn)練方案相結(jié)合，為更強(qiáng)大的模型鋪平了道路，并使我們更接近Pathways的愿景：“使單個(gè)AI系統(tǒng)能夠在數(shù)千或數(shù)百萬個(gè)任務(wù)中進(jìn)行概括，理解不同類型的數(shù)據(jù)，并以顯著的效率做到這一點(diǎn)。”

來源：谷歌

　　05

　　結(jié)語

　　對谷歌來說，現(xiàn)在最大的直接威脅更多的是迫在眉睫的廣告需求周期性衰退，以及考慮到其龐大業(yè)務(wù)的規(guī)模，增長將普遍放緩。這意味著它的長期前景可能不會(huì)像過去十年那樣有利可圖。

　　然而，我們認(rèn)為，在短期宏觀經(jīng)濟(jì)逆風(fēng)消退后，最大的趨勢是人們將注意力轉(zhuǎn)移到谷歌的創(chuàng)新和顛覆性根源上。在我們看來，自從發(fā)布了一款潛在的競爭產(chǎn)品以來，它在最近幾周獲得了更大的關(guān)注，將繼續(xù)引領(lǐng)公司逐步過渡，將人工智能轉(zhuǎn)換器模型更深入地集成到每天為全球用戶提供的服務(wù)中。

　　谷歌擁有實(shí)現(xiàn)這一目標(biāo)所需的一切——現(xiàn)金、雄心和技術(shù)能力，考慮到這項(xiàng)工作已經(jīng)在進(jìn)行中。盡管市場份額的增長將不可避免地放緩，人工智能投資在一段時(shí)間內(nèi)仍將是資本密集型的，但谷歌的資產(chǎn)負(fù)債表仍保持強(qiáng)勁，長期盈利增長的持續(xù)軌跡，使其成為安全的、產(chǎn)生回報(bào)的投資，仍處于當(dāng)前水平。

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場。）