前言
4D雷达（4D毫米波雷达）正在从外部环境感知扩展到车内感知领域。通过融合摄像头和4D雷达，车内监控系统可以获得更鲁棒的检测能力，特别是在CPD（儿童存在检测）和OMS（乘员监控）场景。
最新研究如R4Det、4DRC-OCC等架构为这一技术方向提供了理论基础。
一、4D雷达技术基础
1.1 什么是4D雷达
| 维度 |
信息 |
| X |
水平距离 |
| Y |
垂直距离 |
| Z |
深度/距离 |
| V |
速度（多普勒） |
1.2 vs 传统毫米波雷达
| 特性 |
传统mmWave |
4D雷达 |
| 分辨率 |
低（~15°） |
高（~1°） |
| 高度感知 |
无 |
有 |
| 点云密度 |
稀疏 |
密集 |
| 计算需求 |
低 |
中等 |
| 成本 |
低 |
中等 |
1.3 车内应用优势
| 优势 |
说明 |
| 高分辨率 |
区分不同乘员位置 |
| 速度检测 |
检测呼吸、心跳微动 |
| 穿透能力 |
穿透遮挡物检测儿童 |
| 隐私友好 |
无图像采集 |
二、雷达-摄像头融合架构
2.1 R4Det架构
R4Det（4D Radar-Camera Fusion for High-Performance 3D Object Detection）的核心创新：
| 模块 |
功能 |
| Deformable Gated Temporal Fusion |
时序融合，不依赖自车姿态 |
| Instance-Guided Dynamic Refinement |
实例引导动态优化 |
2.2 融合层次
1
2
3
4
5
6
7
8
| 数据级融合：
原始雷达点云 + 原始图像 → 联合特征提取
特征级融合：
雷达特征 + 图像特征 → 特征融合网络
决策级融合：
雷达检测结果 + 图像检测结果 → 结果融合
|
2.3 车内感知适配
| 外部感知技术 |
车内感知适配 |
| 3D目标检测 |
乘员位置检测 |
| 点云分割 |
占用映射 |
| 速度估计 |
呼吸检测 |
| 深度估计 |
距离测量 |
三、车内应用场景
3.1 CPD儿童检测
| 检测需求 |
摄像头 |
4D雷达 |
融合优势 |
| 静止检测 |
⚠️ 依赖姿态 |
✅ 呼吸检测 |
✅ 互补增强 |
| 遮挡检测 |
❌ 受限 |
✅ 穿透 |
✅ 雷达主导 |
| 隐私保护 |
⚠️ 问题 |
✅ 友好 |
✅ 雷达优先 |
| 位置确认 |
✅ 精确 |
⚠️ 一般 |
✅ 摄像头主导 |
3.2 OMS乘员监控
| 检测内容 |
摄像头 |
4D雷达 |
融合优势 |
| 乘员数量 |
✅ 准确 |
⚠️ 可能混淆 |
✅ 交叉验证 |
| 乘员位置 |
✅ 精确 |
✅ 有深度 |
✅ 3D位置 |
| 姿态检测 |
✅ 详细 |
⚠️ 粗略 |
✅ 摄像头主导 |
| 生命体征 |
❌ 不支持 |
✅ 支持 |
✅ 雷达独有 |
3.3 OOP异常姿态检测
| 检测内容 |
方法 |
| 前倾 |
雷达深度 + 摄像头姿态 |
| 侧卧 |
雷达位置 + 摄像头分割 |
| 脚放在仪表盘 |
摄像头检测 + 雷达位置 |
四、技术挑战
4.1 标定问题
| 挑战 |
解决方案 |
| 传感器位置差异 |
统一坐标系标定 |
| 时间同步 |
硬件同步 + 软件补偿 |
| 内参标定 |
离线标定 + 在线校正 |
4.2 车内环境特殊性
| 特殊性 |
影响 |
对策 |
| 空间狭小 |
多径反射严重 |
算法滤波 |
| 金属反射 |
雷达干扰 |
信号处理 |
| 光照变化 |
摄像头性能波动 |
IR补光 |
4.3 计算资源
| 平台 |
算力需求 |
可行性 |
| 高通8295 |
中等 |
✅ 可行 |
| TI TDA4 |
需优化 |
⚠️ 需模型压缩 |
| EyeQ6L |
高 |
❌ 算力不足 |
五、最新研究进展
5.1 R4Det
| 指标 |
结果 |
| mAP |
领先 |
| 实时性 |
30+ FPS |
| 创新点 |
时序融合无需自车姿态 |
5.2 4DRC-OCC
| 特性 |
说明 |
| 任务 |
语义占用预测 |
| 融合 |
4D雷达 + 摄像头 |
| 优势 |
鲁棒3D场景重建 |
5.3 Robust 3D Multi-Object Tracking
| 特性 |
说明 |
| 技术 |
卡尔曼滤波 + RANSAC |
| 融合策略 |
层次化融合（检测+跟踪） |
| 深度恢复 |
Depth Anything V2 + 雷达锚点 |
六、对IMS开发的启示
6.1 技术路线
1
2
3
4
5
| 阶段1: 摄像头DMS/OMS
↓
阶段2: 摄像头 + 传统mmWave雷达
↓
阶段3: 摄像头 + 4D雷达融合
|
6.2 传感器配置建议
| 配置 |
适用场景 |
成本 |
| 基础 |
单摄像头 |
低 |
| 标准 |
摄像头 + mmWave |
中 |
| 高端 |
摄像头 + 4D雷达 |
高 |
6.3 算法开发建议
| 建议 |
说明 |
| 模块化融合 |
支持不同传感器组合 |
| 时序建模 |
利用4D雷达速度信息 |
| 降维处理 |
点云到稀疏表示 |
| 在线标定 |
适应传感器漂移 |
总结
4D雷达-摄像头融合为车内感知提供了新方向：
- 互补优势：摄像头提供语义，雷达提供深度和速度
- 鲁棒性提升：遮挡、光照变化下保持检测能力
- 隐私友好：雷达优先方案保护隐私
- 技术演进：从mmWave到4D雷达持续提升
开发启示：关注4D雷达成本下降趋势，提前布局融合算法；优先实现摄像头+传统雷达方案，逐步升级到4D雷达融合。
参考资料：