要點(diǎn):

• 由中科院自動(dòng)化所研究團(tuán)隊(duì)提出的 Drive-WM 模型結(jié)合多視圖世界模型，利用 Diffusion 模型生成逼真視頻場(chǎng)景，為自動(dòng)駕駛系統(tǒng)提供多視圖預(yù)測(cè)和規(guī)劃，極大提高安全性。

• Drive-WM 模型首次將世界模型與端到端規(guī)劃相結(jié)合，利用世界模型在每個(gè)時(shí)間步上預(yù)測(cè)未來(lái)情景，通過(guò)圖像獎(jiǎng)勵(lì)函數(shù)全面評(píng)估，實(shí)現(xiàn)更安全、有效的規(guī)劃。

• Drive-WM 的生成能力提供新思路，特別是在面對(duì) Out-of-Distribution（OOD）場(chǎng)景時(shí)，通過(guò)生成視頻進(jìn)行微調(diào)，使規(guī)劃器在復(fù)雜場(chǎng)景中表現(xiàn)更佳，揭示了未來(lái)場(chǎng)景評(píng)估對(duì)規(guī)劃的提升作用。

站長(zhǎng)之家（ChinaZ.com）12月4日 消息:隨著自動(dòng)駕駛技術(shù)的迅猛發(fā)展，中科院自動(dòng)化所的團(tuán)隊(duì)提出的 Drive-WM 模型成為自動(dòng)駕駛領(lǐng)域的關(guān)鍵創(chuàng)新。這一模型通過(guò)多視圖世界模型，利用生成式世界模型的強(qiáng)大生成能力，實(shí)現(xiàn)了多視圖預(yù)測(cè)和規(guī)劃，為自動(dòng)駕駛系統(tǒng)的安全性提供了新的保障。在 CVPR2023自動(dòng)駕駛研討會(huì)上，Drive-WM 模型引起了廣泛關(guān)注。

該模型不僅突破了世界模型與端到端規(guī)劃的整合，還在面對(duì) OOD 場(chǎng)景時(shí)表現(xiàn)出魯棒性。通過(guò)對(duì)比實(shí)驗(yàn)，作者揭示了目前端到端規(guī)劃器在面對(duì) OOD 情況時(shí)的不足之處，而 Drive-WM 模型則通過(guò)生成視頻進(jìn)行學(xué)習(xí)，提高規(guī)劃器在復(fù)雜場(chǎng)景中的性能。

論文地址:https://arxiv.org/pdf/2311.17918.pdf

此外，Drive-WM 還展示了其多視圖視頻生成的出色能力，通過(guò)引入時(shí)序?qū)拥木幋a和視圖分解建模，實(shí)現(xiàn)了時(shí)空一致性。論文詳細(xì)描述了模型的設(shè)計(jì)和控制選項(xiàng)，包括使用文本、場(chǎng)景布局、運(yùn)動(dòng)信息來(lái)控制多視圖視頻的生成，展示了其高質(zhì)量和可控性。

Drive-WM 對(duì)于自動(dòng)駕駛系統(tǒng)有著潛在影響，世界模型與端到端規(guī)劃的結(jié)合將提高自動(dòng)駕駛的安全、穩(wěn)定和可靠性。這一技術(shù)突破有望推動(dòng)自動(dòng)駕駛領(lǐng)域邁向新的里程碑。

（舉報(bào)）