2023中國國際服務貿易交易會-2023中國智能產業論壇于9月3日在北京舉行。英特爾中國區網絡與邊緣事業部首席技術官、英特爾高級首席AI工程師張宇出席并演講。

　　以下為演講實錄：

　　各位來賓大家下午好，非常高興有這樣一個機會來參加服貿會這個產業論壇，之前聽到像黃院士以及各位專家分別從各自行業角度，跟大家分享了一下行業的發展趨勢。我今天也想跟大家介紹一下我所在的行業正在發生的事情。我是來自英特爾的網絡與邊緣事業部，我們這個事業部尤其關注網絡與邊緣尤其是智能邊緣的發展，今天跟大家分享一下我們對智能邊緣發展的理解，以及英特爾硬件軟件的產品如何賦能合作伙伴，快速構建面向智能邊緣的應用服務。

　　大家看到，近些年來人工智能的發展實際上日新月異，我們知道這個人工智能的起點是2012年，一直到現在實際上這個熱潮一直沒有消退，而且最近又有進一步加速的趨勢。我們看到通用人工智能、大模型等等，最近又成為大家的熱議話題。我們看到人工智能技術在各個行業得到迅速普及和應用，在交通、醫療包括零售、工業等等。如果我們剝離現象看本質的話，可以看到在整個行業發展過程中，它背后有一些規律可循。首先一方面看到，隨著行業以及連接、智能應用、數據隱私保護等等方面的訴求，推動了邊緣計算尤其是邊緣智能事業的發展。尤其看到當下人工智能在邊緣的應用大多數還是停留在邊緣的推理階段，也就是說行業還是需要利用數據中心極大的算力或者大量數據訓練一個東西，把訓練的結果推送到前端進行推理操作，這是目前絕大多數邊緣人工智能使用的模式。這種模式是現實，但是同時也有局限性，最大的局限性對模型的更新頻率是有限的。

　　我們也看到在很多的行業，比如自動駕駛等等一些行業對模型的即時更新有訴求。我們也知道車廠在汽車出廠之前利用大量數據訓練一個模型，所訓練采用的訓練數據集跟實際上駕駛人員在真正駕駛時所面臨的路況以及駕駛系之間有差異，造成訓練以后模型泛化能力往往有限。最有效的解決辦法就是不斷在使用過程中根據駕駛人員的駕駛習慣，根據我們所面臨的實際路況，來對這個模型進行二次不斷的修正，不斷重新訓練，這些應該是邊緣。

　　像以自動駕駛為例，它所代表的是邊緣人工智能發展的下一個趨勢——邊緣訓練。我們說邊緣訓練并不是說把數據中心現在已經用到大量的訓練手段，照搬到邊緣進行復制，并不是這樣的。因為我們看到在邊緣去實現人工智能的訓練它要面臨一系列的特定挑戰。首先，我們知道在邊緣去從事人工智能操作的人員往往是比如汽車駕駛人員或者產線工人，這些人員自己在日常做工作時候已經把自己的精力占據了，不可能騰出一定的精力去做跟人工智能相關的操作，或者這些工作人員本身也沒有這方面的經驗，也沒有這樣一些技術，這就要求如果我們在邊緣去進行一些訓練手段的話，這些手段一定是更自動化的手段，在這些操作人員甚至無感的情況下，就能完成相關的操作，這是我們面臨的挑戰。

　　另外一個挑戰，我們知道在做訓練的時候我們需要訓練樣本，有效地訓練樣本往往具有一些特征的樣本。比如我們在做產品的質量檢測，最有效的樣本是帶有缺陷的樣本，這些樣本在一個正常的產線上出現的概率往往比較小，這就造成我們可用的訓練樣本集規模比較小。如何在一個小樣本的情況下去實現有效訓練，得到一個有效的模型更新，這是我們面臨的另外一個問題。

　　第三個問題有關數據保護的問題。因為大家知道現在對數據隱私保護的看中程度越來越重視。如何在保護隱私的情況下利用一些新的技術，比如聯邦學習等等的一些技術實現數據融合，利用融合的數據在邊緣實現模型進一步的訓練，這些都是我們在邊緣進行訓練中需要解決的問題，而這些問題我往往在數據中心進行建設的時候不見得一定要應對的。

　　如果邊緣人工智能發展到第二個階段，進入到邊緣訓練階段我們要面臨的一些挑戰。即使我們完成第二階段，有不認為人工智能尤其在邊緣發展到盡善盡美的程度，我們認為當下的人工智能還有很大的局限，雖然現在已經進入到通用大模型這樣的階段，其實應該看到它的背后實際上有很多的局限性。首先在當下的人工智能里頭，不管在邊緣應用也好，還是在數據中心的應用也好，其實人在人工智能里頭仍然扮演一個非常重要的角色。有的時候我們跟行業專家進行探討這個話題的時候，會開玩笑說，當下的人工智能一半是人工，一半是智能。為什么這么講？我們雖然可以用極大的算力和大量數據去訓練一個網絡模型，但是這個網絡模型的結構需要人事先設定好。當設計人員在設計好一個網絡結構的時候，實際上這個網絡結構適用場景適用范圍已經大概圈定好，并不是說當下的人工智能是一個真正意義上的人工智能，也就是說我們所理想的，我們認為今后人工智能發展的下一階段應該進入一個自主階段，應該進入一個邊緣AutoML階段，這個階段網絡模型應該感知人的意圖，選取適宜的樣本集訓練這個模型，將訓練結果推送到訓練階段進行相應操作。甚至根據訓練的結果不斷更新不斷重新訓練網絡模型，進行不斷迭代，達到最佳的理想結果，我們認為這個是邊緣人工智能發展的一個最終的形態。應該說目前在這個階段里頭我們還不能完全做到。

　　即使看到現在的大模型和AIGC，也只是說在往AutoML方向上先進的一小步，在大模型里頭也有很大的局限性，目前像ChatGPT等等這樣的一些應用，它都工作在開放的狀態，而不是閉環的狀態。開放的狀態是什么，訓練完模型以后用于推理，推理的結果并不能馬上就進行反饋，對模型進行二次更新，這個做不到，畢竟大模型訓練成本非常高，不可能動態利用現在現實的推理結果對這個模型進行進一步的升級和改造，這是做不到的。所以現在的工作還是處于開放的狀態，而真正到AutoML的狀態應該有一個人工智能的閉環。所以現在人工智能還只是一個處于。

　　這里做一個比喻，如果把攀登高峰比喻人工智能不同階段的話，實現邊緣推理只是意味著我們站到山腳，到我們能實現邊緣訓練只是站到半山腰，真正站到山頂是真正實現AutoML的時刻，這個還有很長的路要走。

　　前面分享了邊緣人工智能發展的趨勢，我們也要知道邊緣人工智能發展并非一件容易的事，它的算力是有限的，這就限制了算法的復雜程度。我們看到很多人工智能的技術在數據中心訓練好以后，真正把它部署在邊緣的時候，一定要做相應的優化，很多網絡需要進行簡化以后才能在一個資源受限的邊緣場景進行使用。這里催生一個業界的技術——網絡壓縮技術，在滿足一定準確度的情況下，滿足行業使用要求的情況下，我們能否利用低比特量化等等的技術把模型做精簡，在對整個模型做部署的時候，不管是算力還是存儲它的要求有一定的降低，所以網絡壓縮的技術我們看到是在邊緣進行部署時很看重一項技術。

　　另外也看到邊緣訓練碎片化非常明顯，就導致軟件遷移成本很高，有一些好的軟件工具能實現對不同的硬件平臺的適配，這個也是我們看到開發人員尤其是邊緣人工智能應用開發人員他對于軟件的要求。

　　再有，數據保護的問題。以大模型為例，現在大家都把大模型當作自己的數據資產，這些數字資產如果部署在數據中心的時候，因為它離服務提供商很近，服務提供商可以用物理的方式把它保護起來，讓別人很難去接觸到，這是可以的。但是如果我們在邊緣去部署一些應用的時候，邊緣的設備這些數據實際上往往原理真正的服務提供商。這些數據在進行使用的時候如何進行保護就是一個非常重要的話題，在存儲的時候可以通過加密的方式進行保護，但是在進行是用在運行時態，當這些數據當被存儲在內存里的時候，如何保護這些程式，使得跟其他的應用之間有一個安全邊界彼此隔離，這些都是在邊緣部署應用，去實現安全解決方案時必須要考慮的問題，而這些往往是我們在數據中心不需要關注的話題。所以這些都應該說，我們在邊緣部署這些應用要面臨的一系列的挑戰。

　　回過頭來再說一下，如何面對這些挑戰，如何提供相應的解決方案。應該說這需要產業界的通力合作。英特爾作為一家數據公司，我們給業界所提供的是面向邊緣人工智能、網絡、數據中心的完整的硬件和軟件的解決方案。尤其在人工智能方面，英特爾提供了從計算、通訊、存儲等一系列的產品，跟我們的開發人員進行選擇。計算方面，英特爾提供包括CPU、GPU、各種人工智能芯片多種產品的組合，滿足用戶對人工智能算力不同的要求。以計算為例，針對人工智能大模型的訓練和推理，英特爾在今年推出第二代Gaudi處理器，它不僅能提供大量的算力，同時能提供通訊能力。我們知道再一個大模型訓練的時候，往往不靠單顆芯片單打獨斗形成，是靠一個集群，整個大模型的存儲分布在整個集群里進行分布式存儲，在整個訓練過程中不同分布式計算節點彼此之間要進行頻繁的數據交互，來頻繁進行模型的迭代，所以整個大集群的性能不僅僅取決于計算能力，同時取決于通訊能力和存儲能力。

　　在我們所提供的第二代Gaudi處理器里兼顧了這幾方面的能力，在上個月MLPerf公司對業界主流的大模型進行了評測，在整個業界全球所有的業界產品里頭，英特爾的Gaudi2是全球唯二能提供針對大模型訓練極佳性能的產業。而且在今年英特爾公司把Gaudi的產品已經引入到國內，已經在國內上市，推薦給我們國內的合作伙伴共同去研究AIGC、大模型等等在不同行業的一些應用解決方案。

　　除了計算以外，其實我們這個部門也在做很多跟通訊相關的一些產品，這些很多也為構建端到端的人工智能系統必備的。比如我們提供了像可編程的以太網交換芯片等等數據中心的產品以及網絡產品，來幫助大家構建軟件定義的網絡。除了硬件以外英特爾還提供了很多軟的工具，比如我們提供了Geti平臺，能提供自動化的標注手段以及采取主動學習的技術，幫助開發人員選取最有效的訓練樣本，縮小他的訓練周期，減少訓練時間，提高訓練效果。還提供了像OpenVINO套件，幫助開發人員把開發好的網絡模型部署在不同的平臺去進行訓練。

　　簡單介紹一下硬件方面，考慮到邊緣人工智能在算力算法復雜組等等以及在數據安全保護等等方面的訴求，我們所采取的策略，我們通過增強我們的通用處理器的同時，還提供專用的人工智能加速芯片，滿足用戶對邊緣人工智能算力的要求。今年我們發布了第四代至強可擴展處理器，這款處理器上包含了一系列面向人工智能的技術創新，里面包含了高級矩陣擴展技術AMX技術，因為我們知道在當下的人工智能是以卷積神經網絡為基礎的。在最新一代的至強可擴展處理器里面帶有AMX技術，這個技術直接對矩陣計算進行加速，不需要再拆解成項目計算，所以它的性能不管是人工智能的推理還是人工智能訓練，跟上代比性能提高10倍，這是極大的提升。

　　另外我們前面提到在做邊緣人工智能的時候一定要考慮到安全，在至強可擴展處理器里面也包括了SGX技術，這一技術能在運行時態為關鍵的數據和程序提供一個有別于其他應用的安全可執行的區域，能提供一個更小的安全邊界、安全顆粒，使得人工智能應用可以部署在比如像金融、醫療等等這些對于安全有比較強訴求的應用行業里。這是我們通用處理器方面在做的一些工作。

　　在專用方面我們也提供了獨立顯卡產品，里面包含了面向矩陣加速、矢量加速等等一些加速專業引擎，使得在面向科技計算和人工智能推理計算的時候能有更好的性能。

　　軟件方面，前面我們提供了像OpenVINO這樣的軟件工具，能幫助開發人員快速進行部署，快發人員可以選用一些人工智能框架，在這些框架上利用自己的訓練集，設計自己的網絡模型，設計好之后最后形成一個模型的數據文件，可以將這個數據文件給到OpenVINO，可以進行快速轉化，跟硬件進行適配，進行部署。OpenVINO包含兩個關鍵組件，一個是模型開發器，一個是推理引擎。模型開發器像剛才所說的，能把開發訓練好的網絡模型拿過來以后，在保證精度的情況下進行簡化，把簡化的結果轉變成一個中間表示文件，這個中間表示文件會被第二個模塊推理引擎所讀取，推理引擎會利用相應的硬件插件，比如CPU插件、GPU插件或者人工智能加速性能插件，利用不同的插件，把這些中間表示文件部署在不同的平臺上進行推理操作。這樣操作以后帶來的效果，開發人員它的應用只需要開發一次，利用OpenVINO，利用它的適配能力，就可以把這個應用部署在不同的硬件平臺之上，這樣可以極大地降低軟件開發成本。

　　OpenVINO我們在2018年第一次推出以后，到現在基本上保持了每個季度一個版本的方式不斷進行迭代，而且已經開源，在新的OpenVINO版本即2023.0的版本里，也增加了對AIGC新的技術的加持，OpenVINO可以把文生圖這樣一些比較常用的大模型能通過網絡壓縮以后，部署在通用CPU以及一些獨立顯卡，或者英特爾所帶的顯卡之上，進行邊緣推理操作，這在我們的一些平臺上已經得到非常好的驗證。

　　除了提供這樣一些硬件和軟件的底層技術支撐，我們在行業方面也做了大量的工作，比如在智能制造領域跟我們的合作伙伴做了很多利用機器視覺做了例如激光焊接等等一些技術，還利用低時延的技術，我們把的實時性和智能化結合起來，給我們的合作伙伴全面的解決方案。

　　今天因此時間有限，我用15分鐘時間跟大家分享一下英特爾在邊緣人工智能做了哪些工作。英特爾扎根于中國，秉持著水利萬物的觀念，助力企業的數字化轉型。

　　新浪聲明：所有會議實錄均為現場速記整理，未經演講者審閱，新浪網登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述。

海量資訊、精準解讀，盡在新浪財經APP

責任編輯：梁斌 SF055