麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 (CSAIL) 的科學(xué)家創(chuàng)建了“VISTA 2.0”，這是一種數(shù)據(jù)驅(qū)動(dòng)的模擬引擎，車(chē)輛可以在其中學(xué)習(xí)在現(xiàn)實(shí)世界中駕駛并從接近碰撞的場(chǎng)景中恢復(fù)。更重要的是，所有代碼都向公眾開(kāi)放源代碼。
“如今，只有公司擁有類似于 VISTA 2.0 的模擬環(huán)境和功能的軟件，而且該軟件是專有的。有了這個(gè)版本，研究界將能夠使用一個(gè)強(qiáng)大的新工具來(lái)加速自動(dòng)駕駛自適應(yīng)魯棒控制的研發(fā)，”麻省理工學(xué)院教授和 CSAIL 主任 Daniela Rus 說(shuō)，他是一篇關(guān)于該研究的論文的資深作者。
VISTA 是一款數(shù)據(jù)驅(qū)動(dòng)的、逼真的自動(dòng)駕駛模擬器。它不僅可以模擬實(shí)時(shí)視頻，還可以模擬 LiDAR 數(shù)據(jù)和事件攝像頭，還可以結(jié)合其他模擬車(chē)輛來(lái)模擬復(fù)雜的駕駛情況。VISTA 是開(kāi)源的，代碼可以在下面找到。
VISTA 2.0 建立在團(tuán)隊(duì)之前的模型 VISTA 的基礎(chǔ)上，它與現(xiàn)有的 AV 模擬器有著根本的不同，因?yàn)樗菙?shù)據(jù)驅(qū)動(dòng)的——這意味著它是根據(jù)真實(shí)世界的數(shù)據(jù)構(gòu)建和逼真渲染的——從而可以直接轉(zhuǎn)移到現(xiàn)實(shí)中。雖然最初的迭代僅支持使用一個(gè)攝像頭傳感器進(jìn)行單車(chē)道跟蹤，但實(shí)現(xiàn)高保真數(shù)據(jù)驅(qū)動(dòng)模擬需要重新思考如何合成不同傳感器和行為交互的基礎(chǔ)。
進(jìn)入 VISTA 2.0：一個(gè)數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)，可以模擬復(fù)雜的傳感器類型和大規(guī)模交互場(chǎng)景和交叉路口。使用比以前的模型少得多的數(shù)據(jù)，該團(tuán)隊(duì)能夠訓(xùn)練自動(dòng)駕駛汽車(chē)，這可能比那些在大量現(xiàn)實(shí)世界數(shù)據(jù)上訓(xùn)練的自動(dòng)駕駛汽車(chē)更加強(qiáng)大。
“這是自動(dòng)駕駛汽車(chē)數(shù)據(jù)驅(qū)動(dòng)模擬能力的巨大飛躍，以及處理更大駕駛復(fù)雜性的規(guī)模和能力的增加，”CSAIL 博士生、兩篇新論文的共同主要作者 Alexander AMINI 說(shuō)，與博士生Tsun-Hsuan Wang一起?！癡ISTA 2.0 展示了模擬傳感器數(shù)據(jù)的能力，遠(yuǎn)遠(yuǎn)超出了 2D RGB 攝像頭，還展示了具有數(shù)百萬(wàn)點(diǎn)的超高維 3D 激光雷達(dá)、不規(guī)則定時(shí)的基于事件的攝像頭，甚至還可以與其他車(chē)輛進(jìn)行交互和動(dòng)態(tài)場(chǎng)景?！?/p>
該團(tuán)隊(duì)能夠擴(kuò)展交互式駕駛?cè)蝿?wù)的復(fù)雜性，例如超車(chē)、跟隨和談判，包括高度逼真的環(huán)境中的多智能體場(chǎng)景。
為自動(dòng)駕駛汽車(chē)訓(xùn)練 AI 模型涉及難以保護(hù)的各種邊緣情況和奇怪、危險(xiǎn)的場(chǎng)景，因?yàn)槲覀兊拇蟛糠謹(jǐn)?shù)據(jù)（謝天謝地）只是普通的日常駕駛。從邏輯上講，我們不能僅僅為了教神經(jīng)網(wǎng)絡(luò)如何不撞到其他汽車(chē)而撞上其他汽車(chē)。
最近，人們已經(jīng)從更經(jīng)典的、人工設(shè)計(jì)的模擬環(huán)境轉(zhuǎn)向基于真實(shí)世界數(shù)據(jù)的模擬環(huán)境。后者具有巨大的真實(shí)感，但前者可以輕松模擬虛擬相機(jī)和激光雷達(dá)。隨著這種范式轉(zhuǎn)變，一個(gè)關(guān)鍵問(wèn)題出現(xiàn)了：能否準(zhǔn)確合成自動(dòng)駕駛汽車(chē)所需的所有傳感器的豐富性和復(fù)雜性，例如更稀疏的激光雷達(dá)和基于事件的攝像頭？
在數(shù)據(jù)驅(qū)動(dòng)的世界中，激光雷達(dá)傳感器數(shù)據(jù)更難解釋——您實(shí)際上是在嘗試僅從稀疏的世界視圖中生成具有數(shù)百萬(wàn)點(diǎn)的全新 3D 點(diǎn)云。為了合成 3D 激光雷達(dá)點(diǎn)云，該團(tuán)隊(duì)使用了汽車(chē)收集的數(shù)據(jù)，將其投影到來(lái)自激光雷達(dá)數(shù)據(jù)的 3D 空間中，然后讓一輛新的虛擬車(chē)輛在原車(chē)所在的地方行駛。最后，他們?cè)谏窠?jīng)網(wǎng)絡(luò)的幫助下，將所有感官信息投射回這個(gè)新虛擬車(chē)輛的視野中。
再加上基于事件的攝像機(jī)（其運(yùn)行速度超過(guò)每秒數(shù)千個(gè)事件）的模擬，該模擬器不僅能夠模擬這種多模態(tài)信息，而且還能夠?qū)崟r(shí)完成所有這些——使得訓(xùn)練神經(jīng)網(wǎng)絡(luò)成為可能離線，還可以在增強(qiáng)現(xiàn)實(shí)設(shè)置中在汽車(chē)上進(jìn)行在線測(cè)試，以進(jìn)行安全評(píng)估?！霸跀?shù)據(jù)驅(qū)動(dòng)的模擬領(lǐng)域，這種復(fù)雜程度和逼真度的多傳感器模擬是否可能是一個(gè)懸而未決的問(wèn)題，”Amini 說(shuō)。
這樣，駕校就變成了聚會(huì)。在模擬中，您可以四處走動(dòng)，擁有不同類型的控制器，模擬不同類型的事件，創(chuàng)建交互式場(chǎng)景，并且只需放入原始數(shù)據(jù)中沒(méi)有的全新車(chē)輛。他們測(cè)試了車(chē)道跟隨、車(chē)道轉(zhuǎn)彎、汽車(chē)跟隨以及更多冒險(xiǎn)場(chǎng)景，如靜態(tài)和動(dòng)態(tài)超車(chē)（看到障礙物并四處移動(dòng)，以免發(fā)生碰撞）。借助多代理，真實(shí)代理和模擬代理都可以交互，并且可以將新代理放入場(chǎng)景并以任何方式進(jìn)行控制。
將他們的全尺寸汽車(chē)帶到“野外”——又名馬薩諸塞州德文斯——團(tuán)隊(duì)看到了結(jié)果的直接可轉(zhuǎn)移性，有失敗也有成功。他們還能夠展示自動(dòng)駕駛汽車(chē)模型的大膽而神奇的詞：“穩(wěn)健”。他們表明，完全在 VISTA 2.0 中訓(xùn)練的 AV 在現(xiàn)實(shí)世界中非常強(qiáng)大，以至于它們可以處理那些難以捉摸的具有挑戰(zhàn)性的失敗的尾巴。
現(xiàn)在，人類依賴的一個(gè)尚無(wú)法模擬的護(hù)欄是人類情感。這是確認(rèn)的友好揮手、點(diǎn)頭或眨眼開(kāi)關(guān)，這是團(tuán)隊(duì)希望在未來(lái)工作中實(shí)現(xiàn)的細(xì)微差別類型。
“這項(xiàng)研究的核心算法是我們?nèi)绾潍@取數(shù)據(jù)集并為學(xué)習(xí)和自主構(gòu)建一個(gè)完全合成的世界，”Amini 說(shuō)，“我相信有一天可以在機(jī)器人技術(shù)的許多不同軸上擴(kuò)展這個(gè)平臺(tái)?！?不僅僅是自動(dòng)駕駛，還有許多依賴視覺(jué)和復(fù)雜行為的領(lǐng)域。我們很高興發(fā)布 VISTA 2.0，以幫助社區(qū)收集他們自己的數(shù)據(jù)集并將其轉(zhuǎn)換為虛擬世界，在那里他們可以直接模擬自己的虛擬自動(dòng)駕駛汽車(chē)，在這些虛擬地形周?chē)旭?，在這些世界中訓(xùn)練自動(dòng)駕駛汽車(chē)，然后可以直接將它們轉(zhuǎn)移到全尺寸、真正的自動(dòng)駕駛汽車(chē)上?！?/p>
Amini 和 Wang 與 MIT CSAIL 博士生劉志健一起撰寫(xiě)了這篇論文；Igor Gilitschenski，多倫多大學(xué)計(jì)算機(jī)科學(xué)助理教授；Wilko Schwarting，人工智能研究科學(xué)家和麻省理工學(xué)院 CSAIL 博士 '20；麻省理工學(xué)院電氣工程與計(jì)算機(jī)科學(xué)系副教授宋涵；Sertac Karaman，麻省理工學(xué)院航空航天學(xué)副教授；麻省理工學(xué)院教授兼 CSAIL 主任 Daniela Rus。研究人員在費(fèi)城舉行的 IEEE 國(guó)際機(jī)器人與自動(dòng)化會(huì)議 (ICRA) 上介紹了這項(xiàng)工作
