会上可能听到:“我们是 BEV 融合方案。——融了哪几路传感器,在哪一层融?”
它到底是什么意思
融合放在哪一层,决定丢掉什么。相机特征贴到激光点上,32 线激光雷达下只有约 5% 对得上点,语义大半丢掉;点云投到图像上,几何又会扭曲。BEV 两头都保得住。
同一张图也会错位。标定误差、时钟不同步、相机深度估不准,都会让两路特征对不齐。BEVFusion 在拼接之后再过一层卷积编码器,专门吸收这种局部错位。
收益集中在单一传感器吃力的时候。相对纯激光雷达方案,BEVFusion 在雨天的检测提升约是晴天的两倍,夜间的提升也比白天大。
机制图解
融合放在哪一层
目标级融合每路先各自出框,再用卡尔曼这类滤波在目标层合并、跟踪
BEV 特征级融合各路先转到同一张俯视图,拼接之后再一起出框、做分割
容易搞混的地方
常见误解
转到同一个 BEV 坐标系,两路特征就对齐了
正确理解
标定、时钟同步和深度估计的误差都会让特征错位,要有专门的层去吸收
常见误解
有了激光雷达,相机只是锦上添花
正确理解
相机补的是语义,也补小目标和远处目标;融合相对纯激光雷达,在这两类目标上提升更大
看懂之后可以追问
- 毫米波雷达进的是 BEV 特征层,还是只在目标层参与跟踪?毫米波能直接测速。进哪一层,决定这份速度信息能帮到检测本身,还是只能事后修正轨迹。
- 两路传感器的时间同步误差有多大?标定多久复核一次?融合默认两路特征落在同一个格子里。同步或标定一漂,错位超出卷积层能吸收的范围,融合反而引入噪声。
沿着主线继续
先知道
- 鸟瞰图表征——把多摄像头视角融合到统一的鸟瞰空间,降低对高精地图的依赖。
接着看