論文的主要作者來(lái)自香港科技大學(xué)、小米汽車和華中科技大學(xué)。論文的共同第一作者為香港科技大學(xué)博士后研究員袁子康、小米汽車算法工程師蒲粵川、羅鴻城。論文作者還包括小米汽車世界模型負(fù)責(zé)人孫海洋。通訊作者是華中科技大學(xué)的教授楊欣。

在自動(dòng)駕駛技術(shù)商業(yè)化落地的關(guān)鍵階段，高質(zhì)量仿真系統(tǒng)成為行車安全驗(yàn)證的核心基礎(chǔ)設(shè)施。針對(duì)動(dòng)態(tài)駕駛場(chǎng)景中相機(jī)與 LiDAR 聯(lián)合仿真難題，Uni-Gaussians 提出一種基于統(tǒng)一高斯表征的分治渲染框架，實(shí)現(xiàn)精確性與計(jì)算效率的協(xié)同優(yōu)化。

當(dāng)前主流神經(jīng)渲染方案存在顯著局限性：

基于 NeRF 的方法雖能通過(guò)連續(xù)場(chǎng)景表征統(tǒng)一渲染相機(jī)圖像與 LiDAR 點(diǎn)云，但其依賴密集采樣的體渲染機(jī)制導(dǎo)致計(jì)算效率低下；

基于高斯濺射（Gaussian Splatting）的方法利用高斯基元實(shí)現(xiàn)場(chǎng)景表征，并通過(guò)光柵化（Rasterization）達(dá)成實(shí)時(shí)渲染，但其基于線性光學(xué)假設(shè)的渲染管線難以精確建模非線性光學(xué)傳感器特性，導(dǎo)致該方法在針孔相機(jī)之外的傳感器類型中應(yīng)用受限。

為攻克上述挑戰(zhàn)，來(lái)自香港科技大學(xué)、小米汽車和華中科技大學(xué)的研究團(tuán)隊(duì)提出了 Uni-Gaussians，實(shí)現(xiàn)了動(dòng)態(tài)駕駛場(chǎng)景的高斯基元統(tǒng)一表征與分治渲染的架構(gòu)。使用動(dòng)態(tài)高斯場(chǎng)景圖（Gaussian scene graph），建模靜態(tài)背景與動(dòng)態(tài)實(shí)體（如剛性車輛、非剛性行人）。圖像數(shù)據(jù)采用光柵化（Rasterization）進(jìn)行渲染，確保高幀率輸出。LiDAR 數(shù)據(jù)則引入高斯光線追蹤（Gaussian Ray-Tracing），精確模擬激光脈沖傳播特性。該工作為自動(dòng)駕駛場(chǎng)景下的相機(jī)與 LiDAR 數(shù)據(jù)提供的仿真方式，在質(zhì)量與計(jì)算效率方面都取得了重大進(jìn)展。

論文標(biāo)題：Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios

論文鏈接：https://arxiv.org/pdf/2503.08317

項(xiàng)目主頁(yè)：https://zikangyuan.github.io/UniGaussians/

論文貢獻(xiàn)

Uni-Gaussians 主要有以下貢獻(xiàn)：

提出了一種統(tǒng)一、高效的仿真系統(tǒng)，能夠利用高斯基元實(shí)現(xiàn)相機(jī)和激光雷達(dá)數(shù)據(jù)的聯(lián)合重建。

實(shí)現(xiàn)了包含車輛、行人和騎車人在內(nèi)的所有交通參與者的高質(zhì)量 LiDAR 仿真。

通過(guò)大量的實(shí)驗(yàn)證明了統(tǒng)一的高斯表征和混合渲染方法的優(yōu)勢(shì)。

圖一展示了最新 SOTA 方法 LiDAR4D 和該方法仿真結(jié)果的對(duì)比。相比之前方法，該方法可以準(zhǔn)確地重建出各種可移動(dòng)物體，包括行人和車輛。同時(shí)該方法對(duì)圖像也可以進(jìn)行高質(zhì)量的重建。

方法概述

如圖二所示，對(duì)于一個(gè)動(dòng)態(tài)駕駛場(chǎng)景，該方法建立一個(gè)高斯場(chǎng)景圖來(lái)進(jìn)行解耦建模，其中包含靜態(tài)背景和各種運(yùn)動(dòng)物體，例如剛性的車輛和非剛性的行人、騎車人。方法對(duì)整個(gè)場(chǎng)景進(jìn)行相機(jī)和激光雷達(dá)同時(shí)的模擬。對(duì)于相機(jī)圖像數(shù)據(jù)，方法采用 2D 高斯基元（2D Gaussian primitives）的柵格化渲染。對(duì)于激光雷達(dá)數(shù)據(jù)，計(jì)算高斯球和射線的交點(diǎn)并構(gòu)建光線追蹤來(lái)進(jìn)行模擬，結(jié)合反射強(qiáng)度（SH intensity）與射線丟棄概率（SH ray-drop probability）建模 LiDAR 的主動(dòng)感知機(jī)制。

實(shí)驗(yàn)結(jié)果

Uni-Gaussians 在 Waymo 公開數(shù)據(jù)集上進(jìn)行了評(píng)估。針對(duì)激光雷達(dá)數(shù)據(jù)，該工作采用 Chamfer Distance 和 F-score 來(lái)進(jìn)行點(diǎn)云幾何精度評(píng)估。并使用 RMSE、MedAE、LPIPS、SSIM 和 PSNR 來(lái)評(píng)估雷達(dá)測(cè)距性能和反射強(qiáng)度質(zhì)量。同時(shí)實(shí)驗(yàn)報(bào)告了渲染的耗時(shí)和存儲(chǔ)占用量。對(duì)于相機(jī)圖像渲染質(zhì)量，則采用了 SSIM 和 PSNR 進(jìn)行評(píng)估。

點(diǎn)云對(duì)比

表一，展示該方法和 lidar 仿真 SOTA 方法的定量比較。加粗為最優(yōu)結(jié)果，加下劃線為次優(yōu)結(jié)果。和之前的 SOTA 方法相比，該方法在所有指標(biāo)上均表現(xiàn)出卓越的性能。證明了這種聯(lián)合仿真的優(yōu)勢(shì)。與 DyNFL 和 LiDAR4D 相比，該方法的 CD 指標(biāo)分別降低了 40.9% 和 46.7%，同時(shí)渲染耗時(shí)和計(jì)算內(nèi)存消耗也大幅降低。下面圖 3 和圖 4 展示可視化效果，該方法能夠準(zhǔn)確而精細(xì)地模擬動(dòng)態(tài)駕駛場(chǎng)景中的各種類型的可移動(dòng)實(shí)體，展現(xiàn)出明顯優(yōu)勢(shì)。

圖像對(duì)比

如表二所示，對(duì)于圖像，該方法能保持高質(zhì)量的渲染質(zhì)量。此外該方法在新視角下也能表現(xiàn)出優(yōu)越的泛化性能。

綜上所述，Uni-Gaussians 通過(guò)統(tǒng)一的高斯表征和分治渲染的方法，實(shí)現(xiàn)了一套視覺(jué)和雷達(dá)點(diǎn)云的聯(lián)合仿真框架。該工作在點(diǎn)云和圖像上均展現(xiàn)出強(qiáng)大的仿真性能，兼顧高效率和高質(zhì)量，為行業(yè)提供了一套優(yōu)秀的解決方案。

相關(guān)知識(shí)

小米汽車首曝自動(dòng)駕駛研究：相機(jī)和LiDAR聯(lián)合重建框架Uni
自動(dòng)駕駛知識(shí)科普 自動(dòng)駕駛汽車的七大核心技術(shù)
案例研究什么是自動(dòng)駕駛
淺析自動(dòng)駕駛汽車的技術(shù)發(fā)展
動(dòng)感汽車駕駛模擬器，動(dòng)感汽車駕駛模擬機(jī)，部隊(duì)汽車駕駛模擬器
自動(dòng)駕駛汽車
六自由度汽車駕駛模擬器，動(dòng)感汽車駕駛模擬器，六自由度動(dòng)感汽車駕駛模擬器
汽車智能駕駛產(chǎn)業(yè)深度報(bào)告：路線、變革、機(jī)會(huì)
讓自動(dòng)駕駛汽車行駛在法治軌道上
展望“自動(dòng)駕駛”：汽車“大腦”，這樣“思考”

網(wǎng)址: 小米汽車首曝自動(dòng)駕駛研究：相機(jī)和LiDAR聯(lián)合重建框架Uni http://www.u1s5d6.cn/newsview1508672.html