打造真正意義上的自動(dòng)駕駛汽車，需要更高效、更精準(zhǔn)的復(fù)雜視覺數(shù)據(jù)處理方法。據(jù)外媒報(bào)道，法雷奧全球首家人工智能和深度學(xué)習(xí)研究中心（Valeo.ai）的Ellington Kirby、Alexandre Boulch和Yihong Xu，以及Yuan Yin、Gilles Puy、éloi Zablocki及其同事基于Transformer推出新型端到端自動(dòng)駕駛架構(gòu)DrivoR系統(tǒng)，滿足了上述需求。

圖片來源：ArXiv

該系統(tǒng)利用預(yù)訓(xùn)練的視覺Transformer模型和一種新穎的“注冊(cè)令牌”機(jī)制，將來自多個(gè)攝像頭的信息壓縮成簡(jiǎn)潔的場(chǎng)景表示。這項(xiàng)創(chuàng)新顯著降低了計(jì)算需求，同時(shí)保持了駕駛精度，更重要的是，它使系統(tǒng)能夠根據(jù)安全性和舒適性等所需特性調(diào)整自身行為。

DrivoR在NAVSIM和HUGSIM等權(quán)威基準(zhǔn)測(cè)試中展現(xiàn)出卓越的性能，證明了基于令牌的專注方法能夠?yàn)闃?gòu)建穩(wěn)健且適應(yīng)性強(qiáng)的自動(dòng)駕駛系統(tǒng)提供切實(shí)可行的途徑。

這顯著減少了下游計(jì)算量，同時(shí)又不犧牲準(zhǔn)確性，從而能夠更高效地處理視覺數(shù)據(jù)。這些標(biāo)記驅(qū)動(dòng)兩個(gè)輕量級(jí)Transformer解碼器，它們生成候選軌跡并對(duì)其進(jìn)行評(píng)分，為路徑規(guī)劃提供框架。評(píng)分解碼器學(xué)習(xí)模擬預(yù)言機(jī)，并預(yù)測(cè)代表安全性、舒適性和效率等方面的可解釋子分?jǐn)?shù)，從而在推理階段實(shí)現(xiàn)基于行為條件的駕駛。

面向高效駕駛模型的攝像頭感知令牌研究

研究團(tuán)隊(duì)開發(fā)出的DrivoR旨在兼顧效率和精度。這項(xiàng)工作的核心是實(shí)現(xiàn)了攝像頭感知注冊(cè)令牌，它將多攝像頭視覺特征壓縮成緊湊的場(chǎng)景表示，直接解決了處理高分辨率或多攝像頭傳感器設(shè)置時(shí)固有的計(jì)算瓶頸。通過縮短視覺表示的長(zhǎng)度，DrivoR能夠在不影響性能的前提下實(shí)現(xiàn)更快的處理速度?？茖W(xué)家們?cè)O(shè)計(jì)了一個(gè)系統(tǒng)，其中這些注冊(cè)令牌驅(qū)動(dòng)兩個(gè)輕量級(jí)Transformer解碼器，一個(gè)用于生成候選軌跡，另一個(gè)用于對(duì)其進(jìn)行評(píng)分。

軌跡解碼器生成潛在路徑，而評(píng)分解碼器則學(xué)習(xí)模擬“預(yù)言機(jī)”，并分配反映安全性、舒適性和效率的可解釋子分?jǐn)?shù)。這種評(píng)分機(jī)制支持行為條件駕駛，使車輛能夠根據(jù)所需的駕駛特性調(diào)整其行為。評(píng)分模塊和生成模塊相互分離，從而提高了穩(wěn)定性和性能。實(shí)驗(yàn)采用純Transformer架構(gòu)，避免使用鳥瞰圖（BEV）等中間表示。感知Transformer編碼器處理原始圖像標(biāo)記，將其壓縮成固定的注冊(cè)標(biāo)記集，在保持與規(guī)劃相關(guān)的上下文的同時(shí)，顯著縮短輸入到下游解碼器的序列長(zhǎng)度。

這提供了一個(gè)精簡(jiǎn)的流程，將原始傳感器數(shù)據(jù)和自我狀態(tài)直接映射到駕駛決策，從而減少了成本高昂且耗時(shí)的中間標(biāo)注工作。該研究率先將視覺變換器（ViT）寄存器標(biāo)記重新用于端到端規(guī)劃中的視覺標(biāo)記縮減。研究人員在NAVSIM-v1、NAVSIM-v2和逼真的閉環(huán)HUGSIM環(huán)境中對(duì)性能進(jìn)行了嚴(yán)格評(píng)估。DrivoR的性能始終優(yōu)于或與現(xiàn)有的優(yōu)秀基線模型持平，這表明純Transformer架構(gòu)結(jié)合針對(duì)性的標(biāo)記壓縮足以實(shí)現(xiàn)精確、高效且自適應(yīng)的自動(dòng)駕駛。這為端到端規(guī)劃樹立了新的標(biāo)桿，為未來的自動(dòng)駕駛車輛提供了一種計(jì)算高效且易于解釋的解決方案。

攝像頭感知注冊(cè)令牌能夠?qū)⒍鄶z像頭特征壓縮成緊湊的場(chǎng)景表示，顯著降低計(jì)算需求，同時(shí)又不影響精度。這種壓縮方式在縮短的視覺表示長(zhǎng)度內(nèi)保留了關(guān)鍵的規(guī)劃相關(guān)上下文信息。DrivoR的核心在于其兩個(gè)輕量級(jí)解碼器模塊：一個(gè)模塊生成候選軌跡，另一個(gè)模塊則根據(jù)學(xué)習(xí)到的標(biāo)準(zhǔn)對(duì)候選軌跡進(jìn)行評(píng)分。

圖片來源：ArXiv

該評(píng)分解碼器有效地模擬了一個(gè)理想化的“預(yù)言機(jī)”，預(yù)測(cè)出安全、舒適和效率的可解釋子分?jǐn)?shù)，從而實(shí)現(xiàn)行為適應(yīng)性駕駛。研究團(tuán)隊(duì)在NAVSIM-v1、NAVSIM-v2和HUGSIM上測(cè)試了系統(tǒng)性能，結(jié)果始終優(yōu)于或與強(qiáng)大的現(xiàn)有基準(zhǔn)系統(tǒng)持平。純粹的Transformer架構(gòu)，結(jié)合針對(duì)性的標(biāo)記壓縮，足以實(shí)現(xiàn)準(zhǔn)確、高效且自適應(yīng)的端到端駕駛。具體而言，該系統(tǒng)僅依賴于評(píng)分標(biāo)注，無需顯式的3D監(jiān)督，卻依然在所有測(cè)試基準(zhǔn)上取得了最先進(jìn)的結(jié)果。

該架構(gòu)包含一個(gè)感知編碼器和兩個(gè)解碼器（軌跡解碼器和評(píng)分解碼器），所有模塊均基于標(biāo)準(zhǔn)Transformer模塊構(gòu)建。感知編碼器將感知信息壓縮成與攝像頭相關(guān)的寄存器，形成場(chǎng)景標(biāo)記以供后續(xù)處理。技術(shù)亮點(diǎn)包括通過將解碼后的軌跡重新嵌入并從梯度計(jì)算圖中分離出來，實(shí)現(xiàn)了評(píng)分和軌跡生成路徑的解耦，從而提高了性能并增強(qiáng)了可控性?？茖W(xué)家們利用LoRa技術(shù)對(duì)ViT進(jìn)行了微調(diào)，引入了每個(gè)攝像頭特有的傳感器寄存器，并將這些寄存器分組以形成場(chǎng)景標(biāo)記。

研究人員引入了攝像頭感知注冊(cè)令牌，能夠有效地將多攝像頭輸入壓縮成簡(jiǎn)潔的場(chǎng)景表示，從而在不影響軌跡預(yù)測(cè)精度的前提下降低計(jì)算需求。這項(xiàng)創(chuàng)新使得創(chuàng)建輕量級(jí)解碼器成為可能，該解碼器能夠生成和評(píng)估潛在的駕駛路徑，其中評(píng)分解碼器專門用于預(yù)測(cè)與安全性、舒適性和駕駛效率相關(guān)的可解釋子分?jǐn)?shù)。

通過在包括NAVSIM-v1、NAVSIM-v2和HUGSIM在內(nèi)的基準(zhǔn)測(cè)試中，DrivoR的性能始終與現(xiàn)有系統(tǒng)持平或更優(yōu)。消融實(shí)驗(yàn)表明，采用LoRA微調(diào)、使用最佳數(shù)量的攝像頭令牌（16到32個(gè)之間）以及為軌跡生成和評(píng)分維護(hù)獨(dú)立的分支至關(guān)重要。研究人員也承認(rèn)學(xué)習(xí)率調(diào)度方面的局限性，并指出進(jìn)一步的改進(jìn)有望縮小完全微調(diào)和LoRA之間的性能差距。