毫米波雷达+视觉融合感知综述:自动驾驶多模态融合全扫描——IMS 传感器融合的方法论基础

论文来源:Electronics 期刊, 2026, 15(17), 3919
核心价值:系统梳理 mmWave+Vision 融合的方法分类、数据集、挑战
IMS 相关性:⭐⭐⭐⭐⭐(座舱雷达+摄像头融合的方法论基础)


论文信息

项目 内容
标题 A Survey on Millimeter-Wave Radar and Vision Fusion Perception in Autonomous Driving
期刊 Electronics, 2026, 15(17), 3919
发表日期 2026年8月
作者 Han Y., Wang S., Feng D., Guo Y., Ma L.
DOI 10.3390/electronics15173919
链接 https://www.mdpi.com/2079-9292/15/17/3919

融合方法分类

三级融合架构

融合级别 融合位置 输入 优势 劣势 IMS 适用
数据级 原始数据 雷达点云 + 图像像素 信息最完整 计算量大 🔴 困难
特征级 中间特征 雷达特征图 + 视觉特征图 平衡精度和效率 对齐困难 🟡 中
决策级 最终结果 雷达检测 + 视觉检测 最简单灵活 信息损失大 ✅ 推荐

座舱场景融合策略

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
"""
mmWave + Vision 融合策略选择

对于 IMS 座舱场景(不同于自动驾驶外部感知):
- 距离近(0.5-2m)→ 雷达分辨率足够
- 光照可控(IR 补光)→ 视觉条件好
- 目标少(1-5 人)→ 计算量小
- 隐私要求 → 特征级/决策级更安全

推荐:决策级融合为主,关键场景用特征级
"""

# IMS 座舱融合策略
fusion_strategies = {
'CPD': {
'radar': '60GHz FMCW (呼吸微多普勒)',
'vision': 'OMS 摄像头 (乘员分类)',
'fusion_level': 'decision',
'method': '雷达检测存在 → 摄像头确认分类',
'accuracy': '>95%',
'latency': '<50ms',
},
'OOP': {
'radar': '60GHz (姿态粗分类)',
'vision': 'OMS (3D 姿态估计)',
'fusion_level': 'feature',
'method': '雷达特征 + 视觉特征 → 联合姿态回归',
'accuracy': '~85%',
'latency': '<100ms',
},
'fatigue': {
'radar': 'rPPG (心率变异性)',
'vision': 'DMS (PERCLOS + 眨眼)',
'fusion_level': 'decision',
'method': '独立检测 → 加权融合评分',
'accuracy': '>92%',
'latency': '<30ms',
},
'alcohol': {
'radar': 'rPPG (心率升高)',
'vision': 'DMS (面部微表情 + 红润)',
'fusion_level': 'feature',
'method': '面部 3D 特征 + rPPG → 统一分类',
'accuracy': '~88%',
'latency': '<100ms',
},
}

for scenario, config in fusion_strategies.items():
print(f"\n{scenario}:")
print(f" 雷达: {config['radar']}")
print(f" 视觉: {config['vision']}")
print(f" 融合级别: {config['fusion_level']}")
print(f" 精度: {config['accuracy']}, 延迟: {config['latency']}")

融合方法对比

数据级融合

方法 原理 精度 效率 代表工作
点云投影 雷达点投影到图像 高 中 PointFusion
鸟瞰图 图像投影到 BEV 中 高 BEVFusion
体素融合 3D 体素联合编码 最高 低 VoxelFusion

特征级融合

方法 原理 精度 效率 IMS 可用
双流 CNN 各自编码→拼接 中高 中高 ✅
交叉注意力 视觉-雷达交叉 attend 高 中 ✅
Transformer 多模态 token 序列 最高 低 🟡
BEV 特征 统一到 BEV 空间 高 中高 ❌ 座舱不需要

决策级融合

方法 原理 精度 效率 IMS 推荐
加权平均 独立检测→加权 中 最高 ✅ 简单
投票 多模型投票 中 高 ✅
Bayesian 概率融合 中高 高 ✅
学习融合 ML 融合决策 高 中 🟡

座舱融合的挑战与方案

挑战 1:时空对齐

问题 自动驾驶场景 座舱场景 方案
时间同步 远距离目标运动慢 近距离微动快 硬件触发同步
空间对齐 外参标定复杂 固定安装简单 一次标定
坐标系 车辆坐标→全球 座舱坐标→座椅 简单变换

挑战 2:模态差异

差异 影响 方案
分辨率差 雷达低 vs 视觉高 特征级对齐
数据密度差 雷达稀疏 vs 视觉稠密 点云插值/特征采样
噪声模式 雷达多径 vs 视觉遮挡 双模态互验

挑战 3:遮挡处理

场景 单视觉 单雷达 融合
衣物遮挡 ❌ 看不见 ✅ 穿透 ✅
座椅遮挡 ❌ 看不见 ✅ 穿透 ✅
多人遮挡 ⚠️ 部分 ⚠️ 多径 ✅ 互验
反光遮挡 ❌ 过曝 ✅ 不受影响 ✅

IMS 推荐融合架构


总结

mmWave+Vision 融合综述为 IMS 提供了方法论基础:

  1. 决策级融合是座舱首选:简单、高效、隐私友好
  2. 特征级融合用于精度要求高的场景:OOP、酒驾
  3. 雷达补视觉遮挡:座舱中衣物/座椅遮挡是常态
  4. 时空对齐在座舱更简单:固定安装、近距离

对 IMS 的建议:CPD 用决策级(雷达检测存在→摄像头分类),OOP 用特征级(雷达+视觉联合姿态回归),疲劳用决策级(DMS+rPPG加权),酒驾用特征级(面部3D+rPPG联合)。


论文链接:https://www.mdpi.com/2079-9292/15/17/3919
DOI:10.3390/electronics15173919