📄 本文论文已排队生成全文中文译稿,完成后将自动出现在论文库 。
4D雷达感知算法综述:从稀疏目标检测到动态空间理解——对座舱4D雷达感知的启示
论文来源:arXiv:2609.19216 · 2026年9月16日 · 12页9图5表 投稿期刊:IEEE Sensors Journal 作者:Xumin Wu et al. 核心方向:4D mmWave雷达 · 感知任务演进 · 多模态融合 · 跨模态蒸馏
论文信息
项目
内容
论文标题
4D Radar Perception Algorithms for Autonomous Driving: A Review
arXiv
2609.19216
投稿期刊
IEEE Sensors Journal
年份
2026
页数
12页, 9图, 5表
核心范围
信号处理→目标检测→语义分割→运动估计→占用预测→动态场景重建
核心内容 感知任务演进路线图
graph LR
A[信号处理<br/>Signal Processing] --> B[目标检测<br/>Object Detection]
B --> C[语义分割<br/>Semantic Segmentation]
C --> D[运动估计<br/>Motion Estimation]
D --> E[占用预测<br/>Occupancy Prediction]
E --> F[动态场景重建<br/>Dynamic Scene Reconstruction]
style A fill:#4a4,color:white
style F fill:#4a4,color:white
4D雷达 vs 3D雷达
特性
3D雷达
4D雷达
座舱价值
维度
距离+方位+多普勒
距离+方位+俯仰+多普勒
俯仰=乘员高度信息
点云密度
稀疏
较密
更好的乘员分类
高度信息
❌
✓
区分成人vs儿童
多普勒分辨率
低
高
更好的呼吸检测
适合座舱
勉强
✓ 天然适合
高度+密度=OMS优势
数据表示方法
表示方法
描述
优势
适合座舱
点云
(x,y,z, intensity, doppler)
轻量,直观
✓ 乘员定位
Range-Azimuth-Doppler
极坐标张量
保留完整信息
✓ 信号处理
Occupancy Grid
3D体素网格
密集空间感知
✓ 空间映射
BEV
鸟瞰图
适合检测
△ 座舱不适用
Tensor
原始雷达张量
无信息损失
✓ 研究开发
4D雷达数据集汇总
数据集
场景
传感器
标注
适合座舱参考
Astyx
驾驶
4D雷达+相机
3D框
低
RADIal
驾驶
4D雷达+相机+LiDAR
无标注
低
Boreas
多天气
4D雷达+LiDAR
3D框
中
View-of-Delft
城市
4D雷达+相机+LiDAR
3D框+跟踪
中
WaterScenes
雨雾
4D雷达
语义分割
高(恶劣天气)
感知任务分类 1. 目标级感知
任务
方法
4D雷达特色
座舱对应
3D目标检测
PointRCNN, CenterPoint
俯仰角→高度
乘员3D框
多目标跟踪
SORT, AB3DMOT
多普勒→速度
乘员追踪
语义分割
RadarNet, SparseConv
点云语义
座椅/人体分类
2. 运动与定位
任务
方法
4D雷达特色
座舱对应
运动估计
EgoMotionNet
多普勒→自车速度
N/A
SLAM
RadarSLAM
全天候建图
N/A
场景流
RAFT-Radar
4D点云运动场
乘员运动模式
3. 空间感知
任务
方法
4D雷达特色
座舱对应
占用预测
OccNet
3D体素占用
座舱占用图
密集深度
DepthNet
4D→深度
座舱3D重建
场景重建
4DGS
动态场景
座舱数字孪生
多模态融合策略 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 class FourDRadarFusion : """ 4D雷达多模态融合策略(综述总结) 三种融合范式: 1. 雷达主导:摄像头辅助雷达 2. 摄像头主导:雷达辅助摄像头 3. 对等融合:两者平等贡献 座舱场景的融合: - 4D雷达(高度+运动) + 摄像头(纹理+语义) - 雷达做粗定位/分类,摄像头做精细识别 """ FUSION_STRATEGIES = { 'early_fusion' : { 'method' : '输入级融合:雷达张量+图像拼接' , 'advantage' : '保留全部信息' , 'disadvantage' : '计算量大' , 'cabin_use' : '雷达点云+图像拼接做乘员分类' }, 'mid_fusion' : { 'method' : '特征级融合:各自backbone+特征融合' , 'advantage' : '平衡精度和速度' , 'disadvantage' : '需要标注对齐' , 'cabin_use' : '雷达特征+图像特征融合做DMS+OMS' }, 'late_fusion' : { 'method' : '决策级融合:各自检测+结果合并' , 'advantage' : '简单灵活' , 'disadvantage' : '信息损失' , 'cabin_use' : '雷达检测+摄像头检测投票' } } DISTILLATION = { 'LiDAR→4D雷达' : '用LiDAR监督4D雷达模型训练' , '相机→4D雷达' : '用图像语义指导雷达语义分割' , 'cabin_application' : '用摄像头DMS标签训练雷达DMS(去掉摄像头)' }
关键技术挑战(综述总结)
挑战
当前水平
目标
座舱对应
稀疏性
点云稀疏
密集化
座舱更近(2m)→密度更高
噪声/虚警
CFAR+后处理
端到端去噪
座舱金属反射更复杂
高度估计
4D比3D好
进一步提升
区分成人与儿童高度
多普勒利用
速度估计
呼吸/心跳级
微多普勒生命体征
标注成本
手动3D框
自动标注
座舱场景更难标
天气鲁棒
优于相机
进一步提升
座舱无天气影响
第二篇论文:4D雷达预处理框架
arXiv:2609.18542 · 2026年9月16日 · 7页7图 投稿:Transactions of the Korean Society of Automotive Engineers 作者:WooJin Jung et al.
核心贡献 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 class FourDRadarPreprocessing : """ 4D雷达预处理框架(arXiv:2609.18542) 三大模块: 1. P3DP: 百分位3D形状保留 → 从雷达张量提取点云 2. MF-KDE: 多帧核密度估计 → 去噪+增密 3. ENS: 嵌入式适配评估 → 精度+实时性+天气+复杂度 """ def P3DP (self, radar_tensor, percentile=95 ): """ Percentile-based 3D Shape Preservation 传统方法:CFAR(固定阈值)→ 噪声多 P3DP:百分位数自适应 → 保留形状信息 Args: radar_tensor: (Range, Azimuth, Elevation, Doppler) percentile: 百分位阈值 Returns: point_cloud: (N, 5) [x,y,z, intensity, doppler] """ intensity = np.percentile( np.abs (radar_tensor), percentile, axis=3 ) mask = intensity > np.mean(intensity) * 2 points = [] for r, a, e in np.argwhere(mask): x = r * np.cos(e) * np.cos(a) y = r * np.cos(e) * np.sin(a) z = r * np.sin(e) d = np.argmax(np.abs (radar_tensor[r, a, e, :])) points.append([x, y, z, intensity[r, a, e], d]) return np.array(points) def MF_KDE (self, point_clouds, num_frames=5 ): """ Multi-frame Kernel Density Estimation 跨多帧点云做KDE → 提高密度 + 去除孤立噪声 座舱价值: - 多帧累积 → 儿童呼吸检测信号增强 - KDE去噪 → 去除座椅金属反射 """ from scipy.stats import gaussian_kde all_points = np.concatenate(point_clouds[-num_frames:]) if len (all_points) < 10 : return point_clouds[-1 ] kde = gaussian_kde(all_points[:, :3 ].T) densities = kde(all_points[:, :3 ].T) threshold = np.percentile(densities, 50 ) filtered = all_points[densities > threshold] return filtered def ENS_score (self, accuracy, latency, weather_robustness, complexity ): """ Embedded & NetScore (ENS) 综合评估嵌入式部署适配性: - 精度 (accuracy) - 实时性 (latency) - 天气鲁棒性 (weather_robustness) - 模型复杂度 (complexity) """ alpha = 0.3 beta = 0.3 gamma = 0.2 delta = 0.2 score = ( alpha * accuracy / 100 + beta * (1 / latency) + gamma * weather_robustness + delta * (1 / complexity) ) return score
IMS座舱4D雷达应用启示 1. 座舱4D雷达感知任务映射
综述任务
座舱对应
技术路线
优先级
目标检测
乘员存在检测
4D点云 + PointNet
🔴 P0
语义分割
人体/座椅分类
SparseConv
🟡 P1
运动估计
乘员运动模式
多普勒场景流
🟡 P1
占用预测
座舱占用图
3D体素
🟢 P2
场景重建
座舱数字孪生
4DGS
🟢 P2
跨模态蒸馏
摄像头→雷达
知识蒸馏
🔴 P0
2. 跨模态蒸馏的座舱应用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 class CabinCrossModalDistillation : """ 座舱场景的跨模态蒸馏 核心思路: 1. 用摄像头DMS标注训练"教师模型"(精度高) 2. 用教师模型监督4D雷达"学生模型"训练 3. 部署时只用4D雷达(去掉摄像头) 优势: - 隐私保护(去掉摄像头) - 全天候(雷达不受光照影响) - 成本降低(一个雷达替代摄像头+雷达) """ def __init__ (self ): self .teacher_model = None self .student_model = None def train_distillation (self, paired_data ): """ 跨模态蒸馏训练 Args: paired_data: [(camera_frame, radar_pc, camera_label)] """ for camera, radar, label in paired_data: teacher_output = self .teacher_model(camera) student_output = self .student_model(radar) hard_loss = nn.CrossEntropyLoss()( student_output, label ) soft_loss = nn.KLDivLoss()( nn.LogSoftmax()(student_output / 3 ), nn.Softmax()(teacher_output / 3 ) ) * 9 total_loss = hard_loss + 0.5 * soft_loss
3. 4D雷达座舱技术路线图
timeline
title 4D雷达座舱感知路线图
2026-Q3 : 综述论文发表<br/>技术方向明确
2026-Q4 : 4D雷达座舱原型<br/>点云→乘员检测
2027-Q1 : 跨模态蒸馏<br/>摄像头→4D雷达
2027-Q2 : 语义分割<br/>人体/座椅/物体分类
2027-Q3 : 占用预测<br/>座舱3D体素图
2027-Q4 : 量产部署<br/>替代摄像头DMS
4. 对IMS开发的具体建议
优先级
方向
具体内容
预期成果
🔴 P0
4D点云乘员检测
用PointNet做乘员存在+分类
检测率>95%
🔴 P0
跨模态蒸馏
摄像头标签→4D雷达模型
雷达DMS精度>85%
🟡 P1
P3DP预处理
百分位形状保留
点云质量提升
🟡 P1
MF-KDE去噪
多帧KDE增强
信号密度提升
🟢 P2
占用图
3D体素座舱映射
空间感知
测试代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 """ 4D雷达感知测试 """ import numpy as npdef test_P3DP (): """测试P3DP点云提取""" preprocessor = FourDRadarPreprocessing() tensor = np.random.randn(50 , 30 , 20 , 64 ) + 1j * np.random.randn(50 , 30 , 20 , 64 ) tensor[25 , 15 , 10 , :] = 10 points = preprocessor.P3DP(tensor, percentile=95 ) assert points.shape[1 ] == 5 print (f"✓ P3DP: 提取 {len (points)} 个点" ) def test_MF_KDE (): """测试多帧KDE去噪""" preprocessor = FourDRadarPreprocessing() frames = [np.random.randn(100 , 5 ) for _ in range (5 )] filtered = preprocessor.MF_KDE(frames, num_frames=5 ) assert len (filtered) > 0 print (f"✓ MF-KDE: {sum (len (f) for f in frames)} → {len (filtered)} 点" ) if __name__ == "__main__" : print ("=" * 60 ) print ("4D雷达感知测试套件" ) print ("=" * 60 ) test_P3DP() test_MF_KDE() print ("=" * 60 ) print ("所有测试通过 ✓" ) print ("=" * 60 )
总结 这两篇论文的核心价值:
综述论文 :
任务演进路线图 :从目标检测→语义分割→占用预测→场景重建
4D vs 3D优势 :俯仰角+更高密度+更高多普勒分辨率
跨模态蒸馏 :用摄像头标签训练雷达模型,去掉摄像头
预处理论文 :
P3DP :百分位形状保留,比CFAR更好的点云质量
MF-KDE :多帧KDE去噪增密
ENS评估 :嵌入式适配综合评分
对IMS的最终启示 :
4D雷达是座舱感知的理想传感器 :高度信息+多普勒+密度
跨模态蒸馏路线 :先用摄像头建标注,再蒸馏到4D雷达
P3DP+MF-KDE预处理 :提升4D雷达点云质量和密度
最终目标 :纯4D雷达DMS/OMS(去摄像头,保隐私,全天候)