雷达-摄像头融合综述：舱内感知新范式
发布日期： 2026-03-17
关键词： 雷达摄像头融合, CPD, OMS, 舱内感知, Euro NCAP
多模态融合的必要性
在舱内感知（OMS/CPD）场景，单一传感器存在明显局限：
各传感器局限
| 传感器 |
优势 |
局限 |
| 摄像头 |
视觉信息丰富 |
光照敏感、隐私问题 |
| 雷达 |
隐私友好、测距准 |
分辨率有限 |
| ToF |
深度准确 |
视场角小 |
| 超声波 |
低成本 |
精度低、易干扰 |
结论： 单一传感器难以满足Euro NCAP 2026的多场景要求。
2024综述：雷达-摄像头融合最新进展
arXiv 2024年10月发布的综述《Radar and Camera Fusion for Object Detection and Tracking: A Comprehensive Survey》系统总结了2019-2024年的研究进展。
融合架构分类
1
2
3
4
5
6
7
8
| ┌─────────────────────────────────────────────┐
│ 融合架构分类 │
├─────────────────────────────────────────────┤
│ 早期融合 │ 中期融合 │ 后期融合 │
│ ──────── │ ──────── │ ──────── │
│ 数据级融合 │ 特征级融合 │ 决策级融合 │
│ 原始信号 │ 特征图 │ 检测结果 │
└─────────────────────────────────────────────┘
|
各架构特点
| 架构 |
优势 |
劣势 |
应用场景 |
| 早期融合 |
信息互补完整 |
对齐要求高 |
目标检测 |
| 中期融合 |
平衡性能与复杂度 |
特征对齐难 |
跟踪/分割 |
| 后期融合 |
实现简单、模块化 |
信息损失 |
分类任务 |
NeXtFusion：注意力机制融合网络
网络架构
1
2
3
| 摄像头图像 → CNN特征提取 ─┐
├→ 注意力融合模块 → 检测头
雷达数据 → 点云编码 ─┘
|
关键创新
- 早期融合策略： 在特征图层面直接融合
- 注意力机制： 自适应学习不同传感器的权重
- 端到端训练： 联合优化检测性能
性能对比
| 方法 |
mAP@0.5 |
FPS |
| 仅摄像头 |
72.3% |
30 |
| 仅雷达 |
58.6% |
45 |
| NeXtFusion |
84.7% |
25 |
舱内感知的特殊挑战
与自动驾驶感知的区别
| 维度 |
自动驾驶感知 |
舱内感知 |
| 目标距离 |
远距离(50m+) |
近距离(1-3m) |
| 目标类型 |
车/人/障碍物 |
乘员/儿童/宠物 |
| 光照条件 |
户外变化大 |
车内可控 |
| 隐私要求 |
较低 |
较高 |
| 传感器位置 |
车外 |
车内顶棚 |
舱内融合的关键问题
- 空间对齐： 摄像头与雷达的坐标系标定
- 时序同步： 不同传感器帧率差异
- 遮挡处理： 座椅/方向盘遮挡
- 多目标： 驾驶员+多个乘员
CPD场景的融合应用
儿童存在检测的融合方案
1
2
3
4
5
6
7
8
9
10
| ┌──────────────┐
│ UWB雷达 │ → 呼吸信号检测 → 生命体征判断
└──────────────┘ ↓
┌──────────┐
│ 融合决策 │ → CPD结果
└──────────┘
↑
┌──────────────┐ │
│ 摄像头 │ → 乘员检测 → 位置/大小估计
└──────────────┘
|
融合优势
| 检测项 |
仅摄像头 |
仅雷达 |
融合方案 |
| 存在检测 |
95% |
92% |
98% |
| 位置估计 |
高 |
中 |
高 |
| 生命体征 |
❌ |
✅ |
✅ |
| 遮挡鲁棒 |
低 |
高 |
高 |
| 隐私友好 |
低 |
高 |
中 |
OMS场景的融合应用
乘员监测融合架构
1
2
3
| 摄像头流 → 人体检测 → 骨架估计 ─┐
├→ 姿态融合 → OOP判断
雷达流 → 点云分割 → 体积估计 ─┘
|
关键检测能力
| 功能 |
摄像头贡献 |
雷达贡献 |
| 乘员计数 |
高 |
中 |
| 位置估计 |
高 |
高 |
| 姿态识别 |
高 |
低 |
| 安全带检测 |
高 |
低 |
| 儿童座椅 |
高 |
中 |
IMS开发实现
系统架构
1
2
3
4
5
6
7
8
9
10
| ┌─────────────────────────────────────────────────┐
│ 舱内感知融合系统 │
├─────────────────────────────────────────────────┤
│ 感知层 │ 融合层 │ 应用层 │
│ ────── │ ────── │ ────── │
│ 摄像头采集 │ 标定/同步 │ CPD检测 │
│ 雷达信号处理 │ 特征对齐 │ OOP检测 │
│ ToF深度获取 │ 注意力融合 │ 乘员计数 │
│ │ 决策融合 │ 姿态估计 │
└─────────────────────────────────────────────────┘
|
传感器选型建议
| 传感器组合 |
适用场景 |
成本 |
| 摄像头 + 压力传感器 |
基础OMS |
低 |
| 摄像头 + 超声波 |
入门CPD |
低 |
| 摄像头 + UWB雷达 |
Euro NCAP CPD |
中 |
| 摄像头 + ToF + 雷达 |
高端OMS/CPD |
高 |
开发路线图
Phase 1：单传感器优化（1-2月）
Phase 2：双传感器融合（2-3月）
Phase 3：多传感器扩展（2-3月）
数据集与工具
开源数据集
| 数据集 |
内容 |
适用场景 |
| nuScenes |
多传感器数据 |
自动驾驶 |
| Waymo Open |
摄像头+LiDAR |
自动驾驶 |
| 自建数据 |
舱内多传感器 |
舱内感知 |
开源工具
| 工具 |
功能 |
| PyTorch |
深度学习框架 |
| OpenPCDet |
点云检测 |
| MMDetection3D |
3D目标检测 |
总结
雷达-摄像头融合是舱内感知的技术趋势：
- 法规驱动： Euro NCAP 2026对CPD提出高要求
- 技术可行： 融合方案显著提升检测性能
- 成本可控： 中端方案即可满足法规要求
- 隐私友好： 雷达数据不涉及隐私问题
关键洞察： 融合不是简单叠加，而是需要精心设计的架构和算法。
参考来源：
- arXiv 2410.19872: Radar and Camera Fusion for Object Detection and Tracking: A Comprehensive Survey
- MDPI NeXtFusion: Attention-Based Camera-Radar Fusion Network
- indie Semiconductor: Using Radar and Vision Fusion for CPD