4D毫米波雷达感知算法综述:从稀疏目标检测到动态空间理解

arXiv 2609.19216 论文解读

Wu et al., “4D Radar Perception Algorithms for Autonomous Driving: A Review”, arXiv 2609.19216, 2026.09.16, submitted to IEEE Sensors Journal

论文信息

项目 内容
标题 4D Radar Perception Algorithms for Autonomous Driving: A Review
arXiv 2609.19216
日期 2026年9月16日
投稿 IEEE Sensors Journal
篇幅 12页, 9图, 5表
方向 Robotics, CV, Signal Processing

核心贡献

首个任务导向的4D毫米波雷达感知综述,覆盖从信号处理到动态场景重建的完整链路。

关键洞察:4D雷达感知正从稀疏目标检测(”看到了什么”)走向动态空间理解(”空间中正在发生什么”)。

4D雷达vs传统3D雷达

维度 3D雷达 4D雷达
天线 水平阵列 水平+垂直阵列
输出 距离+速度+水平角 距离+速度+水平角+俯仰角
点云密度 稀疏(~100点/帧) 密集(~1000-5000点/帧)
高度信息 ❌ 无 ✅ 有
分辨率 ~5° ~1°
恶劣天气 ✅ 稳定 ✅ 稳定
典型芯片 Continental ARS408 Oculii Eagle, Arbe Phoenix

综述架构

三种技术路线

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
"""
4D雷达感知的三种学习范式

1. 雷达单独学习(Radar-only)
- 仅用4D雷达输入
- 优势:成本低、恶劣天气鲁棒
- 局限:稀疏、噪声

2. 多模态融合(Multimodal Fusion)
- 4D雷达+LiDAR+摄像头
- 优势:互补、高精度
- 局限:标定复杂、成本高

3. 跨模态蒸馏(Cross-modal Distillation)
- LiDAR/Camera→Radar知识迁移
- 优势:训练时用LiDAR,部署时仅雷达
- 局限:域差距
"""

# 三种路线对比
routes = {
'Radar-only': {
'input': '4D雷达点云/张量',
'优势': ['成本低', '恶劣天气', '独立部署'],
'局限': ['稀疏噪声', '分类难', '远距退化'],
'代表方法': ['PointRCNN-radar', 'RadarNet', 'SaiEseg'],
'适用': 'L2-L3 ADAS',
},
'Multimodal Fusion': {
'input': '4D雷达+LiDOR+Camera',
'优势': ['互补', '高精度', '远距好'],
'局限': ['标定复杂', 'BOM高', '同步难'],
'代表方法': ['ESAFusion', 'LXL', 'RCBEV'],
'适用': 'L3-L4自动驾驶',
},
'Cross-modal Distillation': {
'input': '训练:LiDAR→推理:Radar',
'优势': ['部署成本低', 'LiDAR精度'],
'局限': ['域差距', '需蒸馏策略'],
'代表方法': ['RadarGT', 'Ghost-Net'],
'适用': '渐进式降本',
},
}

print("=== 4D雷达感知三路线 ===")
for route, info in routes.items():
print(f"\n{route}:")
print(f" 输入: {info['input']}")
print(f" 优势: {', '.join(info['优势'])}")
print(f" 局限: {', '.join(info['局限'])}")
print(f" 适用: {info['适用']}")

对座舱感知的启发

4D雷达综述虽聚焦自动驾驶(车外),但其技术框架对座舱内感知有直接启发:

1. 从稀疏到密集

自动驾驶4D雷达 座舱60GHz雷达 共通点
点云密集化 微动检测增强 信号补全
语义分割 乘员区域分割 空间理解
占用预测 座椅占用检测 自由空间
运动估计 呼吸/心跳提取 微动频率

2. 跨模态蒸馏→座舱

3. ESAFusion启示

ESAFusion(arXiv 2609.14619)用LiDAR补全雷达pillar的局部几何,自适应融合多尺度特征——74.60% mAP。

座舱场景:摄像头补全雷达空间分辨率不足,雷达补全摄像头遮挡/黑暗——与Murata+Smart Eye理念一致。

数据集对比

数据集 传感器 场景 标注 对座舱价值
nuScenes 32线LiDAR+5相机+5雷达 自动驾驶 3D框 ⚠️ 间接
View-of-Delft 4D雷达+相机 自动驾驶 3D框+类 ⚠️ 间接
RADIal 4D雷达+相机 自动驾驶 HD map ⚠️ 间接
无座舱4D数据集 — — — 🔴 空白

关键发现: 综述中未涉及座舱内4D/60GHz雷达感知——座舱雷达数据集是学术空白。

IMS开发启示

1. 座舱雷达需要的技术

综述技术 座舱对应 优先级
点云补全 雷达信号增强(呼吸微动) P0
目标检测 乘员存在检测 P0
目标分类 成人/儿童/物体分类 P1
运动估计 呼吸/心跳频率提取 P1
语义分割 乘员区域分割 P2
占用预测 座椅空闲检测 P2
跨模态蒸馏 摄像头→雷达知识迁移 P2

2. 部署优先级

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 座舱雷达技术路线(借鉴综述框架)
cabin_radar_roadmap = {
'Phase 1 (P0)': [
'雷达单独:UWB/FMCW存在检测',
'信号质量增强:去虚影+微动放大',
'多目标:乘员计数',
],
'Phase 2 (P1)': [
'多模态融合:摄像头+雷达(如Murata+Smart Eye)',
'运动估计:呼吸率+心率',
'分类:成人/儿童/物体',
],
'Phase 3 (P2)': [
'跨模态蒸馏:摄像头标注→雷达模型',
'语义分割:乘员区域',
'场景重建:座舱3D理解',
],
}

for phase, tasks in cabin_radar_roadmap.items():
print(f"\n{phase}:")
for t in tasks:
print(f" - {t}")

3. 数据集缺口

学术空白: 无公开座舱内4D/60GHz雷达数据集。IMS应:

  1. 自建采集车(多传感器+标注)
  2. 合成数据补充(NVIDIA Omniverse雷达仿真)
  3. 跨模态蒸馏(摄像头标注→雷达)

局限性

  1. 综述聚焦自动驾驶:座舱场景未覆盖
  2. IEEE投稿中:未经最终评审
  3. 技术快速演进:可能遗漏最新工作
  4. 数据集覆盖:以自动驾驶数据集为主

结论

4D雷达综述展示了从”稀疏目标检测”到”动态空间理解”的技术演进。对座舱感知的核心启示:

  1. 座舱雷达技术路线可借鉴自动驾驶——从信号增强到跨模态蒸馏
  2. 座舱4D雷达数据集是学术空白——IMS应填补
  3. 跨模态蒸馏是降本路径——训练用摄像头、部署仅雷达
  4. 从检测到理解——座舱雷达应从”有人/无人”走向”空间理解”

参考来源:

  • arXiv: 2609.19216 (2026.09.16), submitted to IEEE Sensors Journal
  • ESAFusion: arXiv 2609.14619
  • 4D Radar Preprocessing: arXiv 2609.18542