來源：遠(yuǎn)川研究所

去年八月，工作重心從特斯拉挪開很久的馬斯克，罕見地坐著自家的車，在硅谷進(jìn)行了一場直播。

嚴(yán)格意義上，直播的主角不是硅谷鋼鐵俠本人，也不是車，而是車輛搭載的最新版智駕軟件，采用端到端架構(gòu)的FSD V12 Beta。在他口中，F(xiàn)SD V12是一張神經(jīng)網(wǎng)絡(luò)包打一切，”photon-to-control（輸入光子，輸出駕駛指令）“的科技魔法。

盡管在全球圍觀下，F(xiàn)SD V12首秀就闖了一次紅燈，但還是有國內(nèi)車企緊急成立了端到端團(tuán)隊。一年之后，端到端的風(fēng)已經(jīng)席卷了中國智駕行業(yè)。

這次摸著特斯拉過河的集體運動，似乎和過去兩年致敬特斯拉開發(fā)Transfomer+BEV、OCC沒什么不同，但難度與門檻在變得越來越高。一些智駕從業(yè)者篤信的價值、賴以生存的崗位，也在經(jīng)歷瓦解與重構(gòu)。

01?

?“端到端就是scaling law”

與過去兩年發(fā)生在智駕領(lǐng)域的技術(shù)更迭浪潮一樣，端到端也不是什么新東西。除開過于久遠(yuǎn)且簡單的ALVINN，此前比較出名的例子有兩個。

卡耐基梅隆大學(xué)1988年提出的ALVINN，端到端自動駕駛鼻祖

2016年，英偉達(dá)發(fā)布了一篇名為 “End to End Learning for Self-Driving Cars”的論文，以CNN搭建了一套端到端自動駕駛方案。這篇被引5000余次的論文在學(xué)術(shù)上取得了不小反響，但未能防止英偉達(dá)日后在與奔馳的自動駕駛合作中焦頭爛額。

2016年，知名黑客Hotz創(chuàng)辦的comma.ai開源了端到端輔助駕駛方案Openpilot，計算平臺使用的是一部搭載高通芯片的手機。盡管這套方案在2020年美國消費者報告的評測中獲得了最高分，但comma.ai對器件可靠性和功能安全不屑一顧的方案，還是讓車企嗤之以鼻。

過去這些年在工業(yè)界中，幾乎所有的智駕企業(yè)在量產(chǎn)時，都選擇了與端到端相對的另一條路徑：模塊化。

模塊化結(jié)構(gòu)將智能駕駛系統(tǒng)拆解為多個功能子模塊，各模塊上下游連接，接力完成整個智駕任務(wù)。隨著技術(shù)的進(jìn)步和經(jīng)驗的積累，這些模塊又不斷吸收融合，逐漸形成了“感知-規(guī)劃-控制”三大模塊。

智駕的端到端與模塊化方案

到今天，市面上絕大部分智駕系統(tǒng)，是一個人工和智能兩分天下的混搭系統(tǒng)：感知依靠神經(jīng)網(wǎng)絡(luò)，規(guī)劃控制則使用人類手動設(shè)計的算法（極少數(shù)企業(yè)融入了一些神經(jīng)網(wǎng)絡(luò)）。這一系統(tǒng)的好處在于，利于分工，出了bug也便于分模塊檢查、解決。

但問題是，模塊化的智駕系統(tǒng)在相對簡單的駕駛?cè)蝿?wù)上表現(xiàn)不錯，但在復(fù)雜的駕駛?cè)蝿?wù)面前，它的天花板肉眼可見。

在用戶的體驗中，到了2024年，智能駕駛還是不夠智能。就算是號稱遙遙領(lǐng)先的城市高階智駕功能，依然會有機械感，也會在匯入快速路、通過大型路口時宕機。

智駕工程師們則沒空跟消費者們共情，因為他們快要淹死在碎片化任務(wù)的海洋里。

在目前的混搭式智駕系統(tǒng)中，感知神經(jīng)網(wǎng)絡(luò)要向下游規(guī)控模塊給出目標(biāo)級的識別結(jié)果。這就需要感知模塊的工程師不斷定義，“什么是道路上值得被關(guān)注的”，往白名單里不斷增添物體，訓(xùn)練神經(jīng)網(wǎng)絡(luò)認(rèn)出它們——

從前是車道線、紅綠燈、汽車、行人、自行車，后來是各種小動物、拉著一棵樹的貨車、撐了遮陽傘的摩托；再往后可能是印在公交車上的董明珠和廣告牌上的蘇炳添。

更難過的是規(guī)控模塊的工程師，他們要日復(fù)一日面對不同場景寫if else。其實規(guī)控工程師的工作沒有那么低級，規(guī)控領(lǐng)域有不少對各種場景有概括能力的傳統(tǒng)算法。然而這些算法的泛用性敵不過現(xiàn)實的復(fù)雜度，在deadline壓力下，工程師們不得不頭痛醫(yī)頭腳痛醫(yī)腳，針對各種疑難場景打規(guī)則補丁。

不幸的是，這樣的規(guī)則越多，規(guī)則之間相互打架的可能性就越大，整個模塊的可維護(hù)性就越差。同時，疑難場景源源不斷，工程師焚膏繼晷地寫if else，意味著智駕的規(guī)控優(yōu)化成了一項愚公移山式的勞動密集型作業(yè)。

而在智駕企業(yè)管理層的視野中，如果要在當(dāng)下的智駕競賽中勝出，人海戰(zhàn)術(shù)尤其是往規(guī)控模塊堆人力是必要的，但投入產(chǎn)出比又是不可持續(xù)的。比如華為車BU的智駕團(tuán)隊，規(guī)控部門有上千位工程師[1]。以相當(dāng)保守的平均50萬年薪計，這一部門僅人力成本就超過5億元。華為ADS智駕系統(tǒng)此前在終端的實際落地價是6000元。

如此演進(jìn)下去，高階智駕有滑向三輸局面的危險，即使是領(lǐng)頭的特斯拉也不例外。但2022年末，Open AI一聲炮響，給智駕送來了端到端的復(fù)興。

這年橫空出世的ChatGPT讓一種AI方法論成為了顯學(xué)：海量吸收人類的文字信息，通過以預(yù)測下一個字符（token）為目標(biāo)，讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文字中蘊含的知識。

當(dāng)年12月，特斯拉的智駕工程師Dhaval Shroff 向馬斯克進(jìn)言，拋掉那些手寫的規(guī)則，搭建一張神經(jīng)網(wǎng)絡(luò)，讓它大量觀看人類司機的駕駛視頻，要求它輸出正確的行駛軌跡。在反復(fù)訓(xùn)練中，這張神經(jīng)網(wǎng)絡(luò)可能會習(xí)得與人類相仿的駕駛知識。

作為這個世界上與OpenAI淵源最深的人之一，馬斯克當(dāng)即指示，就這么辦。

2024年1月，經(jīng)過一年的研發(fā)，采用端到端架構(gòu)的FSD V12向北美用戶推送。這一版本號稱用單個端到端的神經(jīng)網(wǎng)絡(luò)，干掉了30萬行C++代碼。

端到端的作用當(dāng)然不只是替代程序員們精心堆砌的屎山，在多個維度上，它表現(xiàn)出了對傳統(tǒng)模塊化方法的超越。

在智駕系統(tǒng)的信息傳遞中，感知不再為了與規(guī)控對齊顆粒度而被迫丟失信息，系統(tǒng)決策獲得的參考信息更全面，更可能達(dá)成全局最優(yōu)；

從實際體驗來看，端到端的FSD開起來更加擬人、絲滑。何小鵬上個月剛剛送出“友商CEO認(rèn)證”，他在加州體驗FSD最新版本時說，F(xiàn)SD比他作為加州新手司機開得更好；

在AI離不開的數(shù)據(jù)標(biāo)注上，由于不依賴人類定義的識別結(jié)果，對各種物體、場景進(jìn)行人工標(biāo)注的工作量將進(jìn)一步減少；

而在已經(jīng)卷到瘋狂的算法迭代速度上，由于規(guī)控模塊也變成了神經(jīng)網(wǎng)絡(luò)，可以24小時工作的GPU們將開足馬力訓(xùn)練，能將智駕OTA的周期推至周更乃至日更；

在人力成本上，理想汽車CEO李想的說法則是，不再需要幾千人的團(tuán)隊去解決Corner Case。

何小鵬怒贊FSD V12

毫不意外地，端到端由此成為2024年中國智駕企業(yè)競相爭奪的技術(shù)（有時更多是宣傳）制高點。

今年7月，華為與小鵬的兩段式端到端智駕方案將推送給車主，理想、蔚來正在加班加點推進(jìn)端到端下半年上車的計劃，Momenta、元戎啟行、商湯絕影的端到端方案也會相繼在今明年登上量產(chǎn)車。

國內(nèi)一位智駕公司高層評論，端到端就是Scaling Law。商湯絕影事業(yè)部總裁王曉剛說，端到端是今天被驗證成功的唯一路徑。

在端到端的架構(gòu)下，智駕將從人力密集型倒向算力密集、數(shù)據(jù)密集型，智駕有望真正走上大力出奇跡的道路，這是過去兩年大語言模型的成功經(jīng)驗。

02

摸著特斯拉 就能趟過端到端的河？

ChatGPT誕生以后，諸多大小企業(yè)摸著OpenAI過河，大語言模型風(fēng)起云涌，國外谷歌Gemini緊追不舍，Meta靠Llama建起了開源生態(tài)，國內(nèi)文心一言、通義千問、星火大模型、盤古大模型等等各領(lǐng)風(fēng)騷。

如果端到端架起了智駕通向Scaling Law的橋梁，理論上類似的創(chuàng)新成果迅速擴散的局面也會在智駕領(lǐng)域發(fā)生。

但在辰韜資本日前舉行的端到端研討會上，光輪智能CEO、前蔚來仿真負(fù)責(zé)人謝晨潑了盆冷水：摸著特斯拉前進(jìn)，結(jié)果不一定是過河，也可能是掉坑。

大語言模型的格局演變，不宜直接套用到智駕上。

眾所周知，人工智能的三要素是算法、數(shù)據(jù)與算力。在端到端至關(guān)重要的數(shù)據(jù)環(huán)節(jié)，國內(nèi)企業(yè)目前還沒看到特斯拉的尾燈。

與大語言模型可以在互聯(lián)網(wǎng)上爬取海量文字?jǐn)?shù)據(jù)用于訓(xùn)練不同，端到端智駕需要的視頻數(shù)據(jù)獲取成本和難度極高。

此前全球最大的自動駕駛公開數(shù)據(jù)集Nuplan的規(guī)模為1200小時，且不是為端到端準(zhǔn)備。國內(nèi)上海AI lab 浦駕團(tuán)隊搜羅了整個Youtube，最終搭建了一個2000小時的數(shù)據(jù)集OpenDV-2K。

OpenDV篩選、處理了240+個城市的駕駛數(shù)據(jù)

特斯拉則在端到端神經(jīng)網(wǎng)絡(luò)開發(fā)之初，就向其投喂了1000萬個經(jīng)過篩選的人類駕駛視頻片段，即使以每段15秒計，這也是超過4萬小時的高清視頻。這是2023年初馬斯克透露的數(shù)據(jù)。

當(dāng)時特斯拉每天可供進(jìn)一步篩選的人駕視頻以1600億幀/天的速度增加，大約是148萬小時，大部分國內(nèi)車企今天比去年的特斯拉數(shù)據(jù)量少兩到三個數(shù)量級，更不用說智駕供應(yīng)商。如果持續(xù)上傳，僅這些數(shù)據(jù)的帶寬和存儲費用，就足以拖垮一家小規(guī)模智駕公司。

問題不僅僅是數(shù)據(jù)數(shù)量，由于駕駛視頻成了端到端系統(tǒng)直接的老師（監(jiān)督信號），對視頻數(shù)據(jù)的質(zhì)量要求也在提升。

視頻收集的觸發(fā)機制是否合理，關(guān)鍵場景是否完整，是否收集到了老司機而不是菜鳥的駕駛行為，視頻數(shù)據(jù)又是不是足夠多元···每一個細(xì)節(jié)的問題都有各自的know-how，其中一些特斯拉也沒能妥善解決。

不久前， 馬斯克在推特上解釋了FSD V12.4.2推遲的原因，該版本投喂了大量需要接管的復(fù)雜場景數(shù)據(jù)進(jìn)行訓(xùn)練優(yōu)化，但在簡單場景的駕駛平順性反而倒退了。這是模型訓(xùn)練中容易出現(xiàn)的災(zāi)難性遺忘，需要對神經(jīng)網(wǎng)絡(luò)采取一些權(quán)重固化措施后重新訓(xùn)練。

國內(nèi)此前最受歡迎的智駕崗位是算法工程師，但端到端的競賽是數(shù)據(jù)驅(qū)動的競爭，數(shù)據(jù)團(tuán)隊的重要性將越來越顯性。一家智駕企業(yè)的研發(fā)負(fù)責(zé)人認(rèn)為，若要轉(zhuǎn)向端到端，國內(nèi)智駕數(shù)據(jù)團(tuán)隊最緊急的任務(wù)應(yīng)該是補齊閉環(huán)仿真的能力，這是以低成本方式對端到端進(jìn)行驗證測試的關(guān)鍵。

與數(shù)據(jù)層面的差異相似，國內(nèi)智駕企業(yè)在算力儲備上與特斯拉的差距肉眼可見。

今年年底，特斯拉預(yù)計將擁有100exaflops云端算力，國內(nèi)相關(guān)企業(yè)紙面參數(shù)最高的是商湯的12eflops，但分配給商湯絕影用于智駕神經(jīng)網(wǎng)絡(luò)訓(xùn)練的算力未知。在智駕投入上最激進(jìn)的華為，用于智駕訓(xùn)練的算力今年剛達(dá)到3.5eflops。

特斯拉為容納H100正在建設(shè)的數(shù)據(jù)中心

算力與數(shù)據(jù)的制約又會顯著影響算法的發(fā)展，況且，這一次特斯拉沒有留下算法的石頭給后來的過河者。

2021-2022年，特斯拉兩次召開AI Day，公開了智駕部分技術(shù)細(xì)節(jié)與進(jìn)展。盡管沒有公開源代碼，但這兩次AI Day事實上起到了引領(lǐng)行業(yè)風(fēng)向的作用，AI Day上提出的Transfomer+BEV架構(gòu)和Occupancy占用網(wǎng)絡(luò)如今都成為高階智駕的基石算法。

但2023年，意識到有競爭對手在“逐幀研究PPT”后，馬斯克叫停了AI Day的舉辦。這讓其他企業(yè)對標(biāo)學(xué)習(xí)的難度陡增。

關(guān)鍵時刻，國內(nèi)學(xué)術(shù)界提出的端到端自動駕駛模型UniAD斬獲2023年CPVR最佳論文獎，為國內(nèi)企業(yè)提供了可以參考的方向。但是在開環(huán)驗證體系、小體量樣本數(shù)據(jù)下開發(fā)的UniAD，上車還需要一定時間的工程化改造和大規(guī)模數(shù)據(jù)訓(xùn)練。

UniAD 算法結(jié)構(gòu)

在包括但不限于算法、算力、數(shù)據(jù)等多方面差距的制約下，國內(nèi)智駕企業(yè)對端到端的開發(fā)實際上還處于踩坑階段，一旦過于冒進(jìn)（或者根本沒條件冒進(jìn)），就有翻車的風(fēng)險。

因此智駕企業(yè)對標(biāo)特斯拉端到端的時候，往往是在對標(biāo)兩個不同的特斯拉：宣傳上對標(biāo)今天的特斯拉，實際工程進(jìn)度上對標(biāo)一年前或者兩年前的特斯拉。

03

神經(jīng)網(wǎng)絡(luò)在整合，團(tuán)隊和行業(yè)亦然

作為國內(nèi)智駕開發(fā)進(jìn)度最靠前的兩家企業(yè)，小鵬與華為在端到端的競賽中并沒有表現(xiàn)出在智駕開城大戰(zhàn)中的激進(jìn)。他們的端到端技術(shù)方案均采用兩段式，由感知神經(jīng)網(wǎng)絡(luò)與規(guī)劃神經(jīng)網(wǎng)絡(luò)相連。

華為ADS 3.0的兩段式端到端

這在行業(yè)一些人士看來不是經(jīng)典意義上的端到端，更像是完成了智駕算法的神經(jīng)網(wǎng)絡(luò)改造。獨立于兩家企業(yè)的智駕人士認(rèn)為，這種“兩段式端到端“是一種過渡形態(tài)，可能會存在與傳統(tǒng)方案相似的信息損失問題，但它對算力和數(shù)據(jù)的要求更低，量產(chǎn)進(jìn)度更快，對智駕系統(tǒng)問題的溯源和解決更方便。

另一個可能的原因是，智駕企業(yè)轉(zhuǎn)向端到端，必然要經(jīng)歷人員與組織架構(gòu)的調(diào)整，歷史包袱越重，調(diào)整阻力越大。

在這個過程中一個不容忽視的矛盾是，理論上對智駕表現(xiàn)最終負(fù)責(zé)的是規(guī)控負(fù)責(zé)人，但由于技術(shù)分工的歷史沿革，大多數(shù)智駕企業(yè)中更懂神經(jīng)網(wǎng)絡(luò)的往往是感知負(fù)責(zé)人。在端到端的趨勢下，以傳統(tǒng)算法為核心工作的規(guī)控部門容易被整合、降權(quán)或者優(yōu)化。

特斯拉在轉(zhuǎn)向端到端方案后，原規(guī)控負(fù)責(zé)人選擇離職。上個月，蔚來的智駕部門感知與規(guī)控團(tuán)隊合并為大模型團(tuán)隊，團(tuán)隊負(fù)責(zé)人為原感知負(fù)責(zé)人彭超[2]。與前兩者不同，小鵬智駕總負(fù)責(zé)人李力耘此前是規(guī)控團(tuán)隊負(fù)責(zé)人，華為則有著國內(nèi)智駕企業(yè)中最龐大、成績也最亮眼的規(guī)控部門。

但長期來看，無論是大語言模型的力大磚飛成功經(jīng)驗，還是智駕現(xiàn)實的商業(yè)化壓力，實現(xiàn)一張神經(jīng)網(wǎng)絡(luò)解決高階智駕都是行業(yè)的共識。曾經(jīng)為感知神經(jīng)網(wǎng)絡(luò)輸出兜底的規(guī)控工程師，被神經(jīng)網(wǎng)絡(luò)端掉飯碗是大概率事件。

只不過這個過程不會那么劇烈。

智加首席科學(xué)家崔迪瀟認(rèn)同的一個觀點是，端到端會同時放大智駕系統(tǒng)的上限與下限，因為它是一個神經(jīng)網(wǎng)絡(luò)黑箱，在獲取更高上限的過程中讓渡了一部分傳統(tǒng)模塊方案具備的可解釋性。

如何在智駕系統(tǒng)中保留可解釋性，將那些不應(yīng)被逾越的規(guī)則（比如別闖紅燈）表征到神經(jīng)網(wǎng)絡(luò)中去，保證端到端能安全地落地應(yīng)用、進(jìn)化，將是規(guī)控工程師們的重要課題。

這會有點像為混動車型打造混動專用發(fā)動機的引擎工程師，核心任務(wù)是服務(wù)好那些最終會消滅他崗位的電機與電池。

商湯絕影總裁王曉剛則說，現(xiàn)階段智駕行業(yè)并不存在一個純神經(jīng)網(wǎng)絡(luò)的量產(chǎn)方案，為了給安全兜底，要么選擇端到端與傳統(tǒng)方案并行，要么端到端網(wǎng)絡(luò)后接一些后處理模塊或者強安全的代碼。神經(jīng)網(wǎng)絡(luò)的進(jìn)與規(guī)則的退會是一個漸進(jìn)的過程。

只是如果說人才還可以流通、轉(zhuǎn)型，那么“所有人都在虧錢”的智駕行業(yè)，可能會被端到端更快推到一個整合臨界點。

上述智駕企業(yè)研發(fā)負(fù)責(zé)人感慨，眼下高階智駕企業(yè)”都活著但又都活得不好“的重要原因，是采用了上一代模塊化的技術(shù)架構(gòu)，人力成本下不去，數(shù)據(jù)飛輪轉(zhuǎn)不起來。

而端到端的高門檻和高效率意味著，不需要也不會有太多車企與智駕供應(yīng)商掌握端到端。在這場逼近的淘汰賽中，大企業(yè)要迎戰(zhàn)自身的內(nèi)耗，小企業(yè)只能死磕認(rèn)知與效率的領(lǐng)先。

[1] 端到端智能駕駛上車，理想、蔚來定下時間表，晚點

[2] 21解讀 | 百億大模型浪潮背后：蔚小理的智駕組織學(xué)，21世紀(jì)經(jīng)濟報道

（聲明：本文僅代表作者觀點，不代表新浪網(wǎng)立場。）