2024年7月11-13日，2024中國(guó)汽車論壇在上海嘉定舉辦。本屆論壇以“引領(lǐng)新變革，共贏新未來”為主題，由“閉門峰會(huì)、大會(huì)論壇、10多場(chǎng)主題論壇、9場(chǎng)重磅發(fā)布、主題參觀活動(dòng)”等多場(chǎng)會(huì)議和若干配套活動(dòng)構(gòu)成，各場(chǎng)會(huì)議圍繞汽車行業(yè)熱點(diǎn)重點(diǎn)話題，探索方向，引領(lǐng)未來。其中，在7月12日下午舉辦的“主題論壇六：策略共鳴，未來共筑”上，輕舟智航聯(lián)合創(chuàng)始人、CEO于騫發(fā)表精彩演講。以下內(nèi)容為現(xiàn)場(chǎng)演講實(shí)錄：

非常感謝許總工和各位現(xiàn)場(chǎng)嘉賓朋友們。特別有幸分享一些關(guān)于智能駕駛方面的一些我的理解。最近智能駕駛特別火。L2+、Robotaxi、L4都特別火，市場(chǎng)上很多的聲音。也看到這兩天小鵬汽車的小鵬總也講了很多關(guān)于Robotaxi、端到端發(fā)展的看法。今天特斯拉發(fā)布了消息，本來8月8日發(fā)布Robotaxi的車型，推遲到了10月份。我們看到整個(gè)在自動(dòng)駕駛或者智能駕駛領(lǐng)域，人類夢(mèng)想完全無人駕駛已經(jīng)幾十年了，從上個(gè)世紀(jì)開始大家夢(mèng)想這件事，已經(jīng)有很長(zhǎng)時(shí)間的迭代和發(fā)展了，也在技術(shù)不斷演進(jìn)。

最近端到端的技術(shù)，技術(shù)的演進(jìn)方向有一個(gè)比較明確的趨勢(shì)出現(xiàn)了。使得端到端新的技術(shù)趨勢(shì)對(duì)整個(gè)的現(xiàn)在行業(yè)起到非常大的變化。這個(gè)背后很大的邏輯是我們從自動(dòng)駕駛領(lǐng)域也是泛人工智能的應(yīng)用，周總講了算法、算力和數(shù)據(jù)。這里面數(shù)據(jù)是非常關(guān)鍵的一點(diǎn)，在這個(gè)端到端的領(lǐng)域里面，很大程度上是數(shù)據(jù)方面發(fā)揮了非常大的作用。它的核心的邏輯是我們從產(chǎn)生的模型，把一個(gè)自動(dòng)駕駛的整體的能力拆分成感知、規(guī)控等等不同的功能模塊工作的。端到端技術(shù)是直接從傳感器的輸入直接經(jīng)過模型的處理，變成了一個(gè)軌跡甚至是直接的命令的剎車油門的控制命令。

對(duì)數(shù)據(jù)的使用其實(shí)更加高效，使很多基于規(guī)則這樣的方法變得不再適用，使得數(shù)據(jù)價(jià)值變得越來越大，端到端是通向高等級(jí)甚至無人駕駛技術(shù)的必由之路，是真正的實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)的方式，來實(shí)現(xiàn)研發(fā)泛式的變化。

從特斯拉推遲Robotaxi來看，因?yàn)樘厮估诙说蕉朔矫娣浅ｎI(lǐng)先，去年7月份馬斯克就在推特上發(fā)了一些視頻。關(guān)于端到端的實(shí)車展示，即便到現(xiàn)在還沒有完全實(shí)現(xiàn)有Robotaxi的應(yīng)用。這個(gè)道路還是比較曲折的。真正實(shí)現(xiàn)完全無人駕駛的技術(shù)路徑，應(yīng)該是我們理解大概這么一個(gè)過程：首先其實(shí)在傳統(tǒng)的ADAS領(lǐng)域，像早期的博世很多的Global的很大的Tier 1已經(jīng)很好了，但是這種方式是比較早期的階段，只能實(shí)現(xiàn)一些用戶體驗(yàn)不是很明顯的基礎(chǔ)功能。

再往上是L2+，實(shí)現(xiàn)一些更加高級(jí)的功能，到高速的NOA，到城市NOA，這么一個(gè)過程，最終我們相信無人駕駛一定會(huì)到來的，只是這條路徑會(huì)比較長(zhǎng)、比較曲折，這里面非常重要的分水嶺是OTA，我們可以實(shí)現(xiàn)更新，可以使產(chǎn)品越用越好，對(duì)于我們作為一家做智能駕駛公司來講，我們所有的產(chǎn)品都是基于分水嶺這邊的，我們是做OTA升級(jí)的產(chǎn)品。從NOA的產(chǎn)品高速NOA到城市NOA到完全無人駕駛，這個(gè)過程比較長(zhǎng)，但這個(gè)過程一定不斷產(chǎn)生商業(yè)價(jià)值，不斷滿足用戶持續(xù)增長(zhǎng)的對(duì)智能化的需求，不斷創(chuàng)造價(jià)值，對(duì)我們技術(shù)棧打磨非常重要，對(duì)商業(yè)閉環(huán)獲得更大的商業(yè)成功，實(shí)現(xiàn)完全的無人駕駛也是非常關(guān)鍵的。

現(xiàn)階段我們很多車企非常焦慮，特斯拉都做到這個(gè)份上，卷得不得了，恨不得Robotaxi明天就來了?，F(xiàn)階段來講，特別高等級(jí)的城市NOA、Robotaxi其實(shí)是非常小的一個(gè)滲透率?，F(xiàn)階段今天真正能夠?qū)崿F(xiàn)用戶價(jià)值的特別好的體驗(yàn)在高速場(chǎng)景，界限比較明顯，而且成本比較低，這點(diǎn)是現(xiàn)階段對(duì)我們現(xiàn)在廣大用戶能夠馬上體驗(yàn)到智能化體驗(yàn)的最好的產(chǎn)品形態(tài)。

目前輕舟有接近40萬的NOA的裝車量，在行業(yè)里我們?cè)趲в蠳OA的智能駕駛軟件系統(tǒng)我們上車量最大。我們是采用國(guó)產(chǎn)化的平臺(tái)。所以這方面我們已經(jīng)取得非常好的領(lǐng)先優(yōu)勢(shì)。這里面也幫助我們積累了大量的能力，怎樣更好地利用海量的數(shù)據(jù)，實(shí)現(xiàn)更高階的智能駕駛的演進(jìn)。

我們認(rèn)為城市NOA是輔助駕駛的天花板，是完全無人駕駛的無門檻?？梢钥吹秸w的無人駕駛的場(chǎng)景里面，他比城市NOA更難，但是場(chǎng)景是非常接近的，要處理我們城市中的很多復(fù)雜的場(chǎng)景，基本到哪都能開，這是必然的。這個(gè)口號(hào)我們也是在去年喊出來了，城市NOA是我們未來演進(jìn)的方向，車企的滲透率很多高端車型上的滲透率也在逐漸加大。

我們看到在最終實(shí)現(xiàn)完全無人駕駛，必須要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)閉環(huán)的能力，這點(diǎn)因?yàn)殡S著AI的發(fā)展，算法、算力、數(shù)據(jù)，數(shù)據(jù)價(jià)值越來越大，我們看到很多的技術(shù)演進(jìn)尤其是一些端到端的模型來講。我們的模型并沒有做任何的變化，其實(shí)我的數(shù)據(jù)質(zhì)量和數(shù)據(jù)分布還有數(shù)據(jù)規(guī)模變得更好，使我的體驗(yàn)增加了非常多，這點(diǎn)是數(shù)據(jù)帶來的價(jià)值，一方面數(shù)據(jù)規(guī)模大很重要，但是數(shù)據(jù)的質(zhì)量、分布也是非常重要的。

像我們目前來講在中國(guó)有幾十萬臺(tái)的上車量高價(jià)值的數(shù)據(jù)覆蓋以及數(shù)據(jù)質(zhì)量，都得到了非常好的支持。所以我主要分享這些關(guān)于這幾方面做的一些工作。

大家可以想一下，幾十萬臺(tái)車每天路上跑，每天產(chǎn)生巨量的數(shù)據(jù)，如何能高效使用這些數(shù)據(jù)，使我們能夠不斷迭代我們的產(chǎn)品，能夠以月甚至周為單位，更新我們的產(chǎn)品體驗(yàn)非常重要，數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)挖掘等等情況。

我們會(huì)有一些怎樣實(shí)現(xiàn)自動(dòng)化的標(biāo)注，我們會(huì)通過一些離線的大模型，實(shí)現(xiàn)3D的自動(dòng)化標(biāo)注，可以展現(xiàn)的是，這里所有的標(biāo)注的結(jié)果都是自動(dòng)化生成的，使我們?cè)?9%以上的數(shù)據(jù)規(guī)模量上都是不需要做任何的人工干預(yù)的，可以用海量的數(shù)據(jù)。

這是一個(gè)統(tǒng)一模型，當(dāng)有大量的車在路上跑的時(shí)候，我們大概每天都有超過十萬幀的數(shù)據(jù)回傳，經(jīng)過大量的自動(dòng)化的篩選來進(jìn)行的數(shù)據(jù)回傳，如何進(jìn)行自動(dòng)化的標(biāo)注，這是一個(gè)在數(shù)據(jù)閉環(huán)非常重要的一個(gè)環(huán)節(jié)。這個(gè)相當(dāng)復(fù)雜的場(chǎng)景完全進(jìn)行復(fù)雜的標(biāo)注。這樣的標(biāo)注對(duì)我們訓(xùn)練車載的模型，起到至關(guān)重要的作用。

可以看到我們?cè)诓还獍滋爝€有夜間自動(dòng)化標(biāo)注的情況。

除了3D環(huán)境的自動(dòng)化數(shù)據(jù)生成，我們?cè)?D的圖像自動(dòng)化標(biāo)注也做了大量的工作。我們幾乎不需要再對(duì)車載圖像做任何的車載數(shù)據(jù)的任何人工標(biāo)注，完全自動(dòng)化生成的，圖像標(biāo)注不管分割還是在目標(biāo)檢測(cè)這些耗費(fèi)大量的人工的力量的，我們通過完全自動(dòng)化的方式，使我們可以把實(shí)時(shí)回傳的數(shù)據(jù)在云端進(jìn)行自動(dòng)化標(biāo)注，實(shí)現(xiàn)離線的端到端的模型。

還有用道路幾何，會(huì)通過對(duì)地圖預(yù)標(biāo)注的方式，可以在BEV的鳥瞰圖里面，在道路幾何的完全自動(dòng)化標(biāo)注，可以節(jié)省60%的人工標(biāo)注成本，這個(gè)方面也是大量使用了基于Transformer的BEV網(wǎng)絡(luò)，使我們?cè)诤芏嗖煌瑘?chǎng)景的泛化能力非常強(qiáng)。我們?cè)谥袊?guó)幾乎是所有的高速公路上幾乎是所有的地方我們都可以有這樣的高質(zhì)量的數(shù)據(jù)的回傳，大量減少我們的人工標(biāo)注的耗時(shí)的問題。

這是一些像高速和城市的不同情況下，尤其路口的情況下，我們通過自動(dòng)化標(biāo)注的高效訓(xùn)練實(shí)現(xiàn)道路幾何的識(shí)別，可以滿足我們量產(chǎn)方案里面對(duì)輕地圖的需求，我們不再依賴于高精地圖的使用而是使用不依賴地圖的情況，只使用標(biāo)精地圖，和一些環(huán)境感知的能力，構(gòu)建一個(gè)可以對(duì)實(shí)時(shí)環(huán)境感知的場(chǎng)景。

數(shù)據(jù)增強(qiáng)方面，剛剛在講到測(cè)試方面，我們有很多的仿真測(cè)試，其實(shí)在數(shù)據(jù)增強(qiáng)仿真測(cè)試?yán)锩嬗泻苤匾囊徊糠郑驗(yàn)槲覀冊(cè)谄綍r(shí)數(shù)據(jù)采集中，有一些局限，通過數(shù)據(jù)增強(qiáng)我們可以把我們?cè)疾杉膱D像，比如像雨后帶雨滴，不同情況下的數(shù)據(jù)增強(qiáng)，測(cè)試是不是能夠適應(yīng)這樣的條件。

我們?cè)陉P(guān)于語(yǔ)言模型方面，我們每天可以觸及到大量的道路的數(shù)據(jù)，如何在這種道路數(shù)據(jù)中發(fā)現(xiàn)我們比較感興趣的，我們做了一個(gè)非常方便叫做基于視覺的表征的向量數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)的收集過程中，我們對(duì)圖像數(shù)據(jù)進(jìn)行了索引，索引以后可以用非常簡(jiǎn)單的文字檢索需要的數(shù)據(jù)。比如直接檢索夜間大卡車，收集相關(guān)的場(chǎng)景的片斷。更快讓我們發(fā)現(xiàn)對(duì)環(huán)境中沒有價(jià)值的數(shù)據(jù)。因?yàn)槲覀兊臄?shù)據(jù)量規(guī)模非常大，檢索可以大大縮減我們對(duì)于數(shù)據(jù)挖掘里面的這些速度。

這里展示了基于文字到圖像的多模態(tài)挖掘能力，比如經(jīng)常會(huì)碰到灑水車的情況，人工找什么地方有灑水車是非常復(fù)雜的，通過自動(dòng)化的圖像的索引可以非常輕松用語(yǔ)言文字輸入，檢索到觸及數(shù)據(jù)里面所挖掘的情況，這是數(shù)據(jù)挖掘非常重要的作為測(cè)試驗(yàn)證的方法。

這個(gè)是另外一個(gè)場(chǎng)景，挖土車，施工場(chǎng)景在高級(jí)輔助駕駛、自動(dòng)駕駛非常常見的或者非常有挑戰(zhàn)的情況，有各式各樣的挖土車，通過我們數(shù)據(jù)挖掘方式，可以把少見的特殊的車輛，能夠更快速的把他們找出來，用來訓(xùn)練我們的車載模型，這方面其實(shí)就是我們發(fā)現(xiàn)了，數(shù)據(jù)的使用上來講，不僅僅數(shù)據(jù)規(guī)模大，很大數(shù)據(jù)的覆蓋和質(zhì)量，如果你的數(shù)據(jù)規(guī)模很大，但是都是同質(zhì)化的，甚至數(shù)據(jù)千篇一律沒有變化的數(shù)據(jù)也是有問題的，我們有相對(duì)少的訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)大訓(xùn)練數(shù)據(jù)的效果，減少我們?cè)谟?xùn)練中耗費(fèi)的訓(xùn)練資源。數(shù)據(jù)的質(zhì)量和訓(xùn)練規(guī)模一樣重要。

像三輪車很常見。像兒童也是我們常見的一些在道路上比較高風(fēng)險(xiǎn)的場(chǎng)景。我們可以通過圖像檢索方式快速把他們挖掘出來。

這里展示的是離線點(diǎn)云模型訓(xùn)練出來和車載的BEV模型，如果有差別也會(huì)作為一個(gè)很重要的風(fēng)險(xiǎn)發(fā)現(xiàn)的方式，相當(dāng)于我們?cè)陔x線模型的能力更強(qiáng)，和車載比對(duì)之后，如果漏檢和誤檢，可以更快發(fā)掘出來，提升能力。

像很多領(lǐng)域非?；?，尤其多模態(tài)，這里面我們把多模態(tài)的技術(shù)應(yīng)用在自動(dòng)駕駛領(lǐng)域，尤其是通過離線的點(diǎn)云模型訓(xùn)練，用他實(shí)現(xiàn)跨模態(tài)的知識(shí)蒸餾，優(yōu)化量產(chǎn)車上，并不存在，比如大規(guī)模的量產(chǎn)車并沒有激光雷達(dá)，但是我們?cè)跊]有激光雷達(dá)的車輛里面，使用了基于離線帶三維模型的訓(xùn)練數(shù)據(jù)，使跨模態(tài)的知識(shí)蒸餾提升量產(chǎn)車的駕駛體驗(yàn)，我們發(fā)現(xiàn)這樣的方法對(duì)所有的線上模型有非常大的提升，減少了我們?cè)诤芏嗔慨a(chǎn)車上進(jìn)行重新數(shù)據(jù)收集的麻煩。

因?yàn)槲覀冊(cè)诖竽Ｐ土慨a(chǎn)車?yán)锩妫皇褂眉す饫走_(dá)，以視覺為主的量產(chǎn)車，主要考慮我們是以性價(jià)比的方式向我們的主機(jī)廠客戶提供一個(gè)體驗(yàn)好、性價(jià)比很好的方案，所以我們大的規(guī)模量產(chǎn)車?yán)锩娌淮嬖诩す饫走_(dá)，我們?cè)趺茨軌驅(qū)λ麄冞M(jìn)行更好3D的點(diǎn)云的構(gòu)建和標(biāo)注，我們完全使用基于NeRF方法，做了非常高效改進(jìn)，幾乎可以實(shí)現(xiàn)厘米級(jí)的精度，比如泊車的場(chǎng)景，這是完全不使用激光雷達(dá)不使用其他任何所謂的傳統(tǒng)三維重建方法，完全神經(jīng)網(wǎng)絡(luò)生成的紋理很少的情況下，實(shí)現(xiàn)三維重建的場(chǎng)景。尤其泊車非常管用。在中國(guó)泊車會(huì)有很多的懸空障礙物，通過三維重建技術(shù)，可以實(shí)現(xiàn)泊車場(chǎng)景的數(shù)據(jù)標(biāo)注。

這是我們關(guān)于在高速以及比較小的物體，比如小的障礙物的三維重建或者不規(guī)則的三維重建的效果。

剛剛講的三維重建是對(duì)固定場(chǎng)景的重建，是一個(gè)單時(shí)間的，是在XYZ三維重建，四維重建是XYZ和時(shí)間的重建，這個(gè)其實(shí)是我們端到端模型使用非常重要的環(huán)節(jié)。當(dāng)我們端到端模型訓(xùn)練的時(shí)候，當(dāng)模型產(chǎn)生不一樣的位置的變化的時(shí)候，你需要模型給你輸出不同的場(chǎng)景的變化，使你的模型產(chǎn)生閉環(huán)，這部分來講是我們比較獨(dú)到的技術(shù)，可以使我們仿真環(huán)節(jié)下實(shí)現(xiàn)端到端的完整網(wǎng)絡(luò)訓(xùn)練，這是我們?cè)诳梢愿斓販p少道路的測(cè)試，通過我們?cè)贫藴y(cè)試實(shí)現(xiàn)整體端到端的方法。

最后我把整體的技術(shù)的閉環(huán)總結(jié)一下，從我們的實(shí)時(shí)測(cè)試到數(shù)據(jù)回傳、到大規(guī)模的數(shù)據(jù)挖掘以及三維重建，進(jìn)行自動(dòng)化的場(chǎng)景標(biāo)注，形成數(shù)據(jù)集，我們整體的數(shù)據(jù)閉環(huán)是完全靠視覺方案，不使用任何激光雷達(dá)，而且積累了非常高價(jià)值非常罕見稀缺性場(chǎng)景的數(shù)據(jù)資產(chǎn)。這個(gè)場(chǎng)景不斷進(jìn)行技術(shù)迭代。使我們?cè)谡麄€(gè)智能駕駛領(lǐng)域的數(shù)據(jù)的閉環(huán)能力是超強(qiáng)的。我們是唯一一家在中國(guó)處理幾十萬臺(tái)車的道路的自動(dòng)駕駛公司。數(shù)據(jù)規(guī)模在端到端面向未來的長(zhǎng)期的高階輔助駕駛甚至完全的無人駕駛，數(shù)據(jù)閉環(huán)能力至關(guān)重要，這是我們?cè)诮?jīng)歷過這段幾十萬的量產(chǎn)車數(shù)據(jù)以后獲得的心得。

其實(shí)最終不管什么樣的技術(shù)方案，不管是不是使用激光雷達(dá)，是做高速NOA還是城市NOA還是自動(dòng)駕駛，我們是為用戶創(chuàng)造價(jià)值、社會(huì)創(chuàng)造價(jià)值，為廣大消費(fèi)者提供更加安全、舒適、便捷的駕駛體驗(yàn)，這是我們公司希望給大家?guī)淼?。謝謝大家！