4D雷达感知算法综述：从稀疏目标检测到动态空间理解——对座舱4D雷达感知的启示

论文来源：arXiv:2609.19216 · 2026年9月16日 · 12页9图5表
投稿期刊：IEEE Sensors Journal
作者：Xumin Wu et al.
核心方向：4D mmWave雷达 · 感知任务演进 · 多模态融合 · 跨模态蒸馏

论文信息

项目 内容
论文标题 4D Radar Perception Algorithms for Autonomous Driving: A Review
arXiv 2609.19216
投稿期刊 IEEE Sensors Journal
年份 2026
页数 12页, 9图, 5表
核心范围 信号处理→目标检测→语义分割→运动估计→占用预测→动态场景重建

核心内容

感知任务演进路线图

graph LR
    A[信号处理<br/>Signal Processing] --> B[目标检测<br/>Object Detection]
    B --> C[语义分割<br/>Semantic Segmentation]
    C --> D[运动估计<br/>Motion Estimation]
    D --> E[占用预测<br/>Occupancy Prediction]
    E --> F[动态场景重建<br/>Dynamic Scene Reconstruction]
    
    style A fill:#4a4,color:white
    style F fill:#4a4,color:white

4D雷达 vs 3D雷达

特性 3D雷达 4D雷达 座舱价值
维度 距离+方位+多普勒 距离+方位+俯仰+多普勒 俯仰=乘员高度信息
点云密度 稀疏(~100点/帧) 较密(~1000点/帧) 更好的乘员分类
高度信息 ❌ ✓ 区分成人vs儿童
多普勒分辨率 低 高 更好的呼吸检测
适合座舱 勉强 ✓ 天然适合 高度+密度=OMS优势

数据表示方法

表示方法 描述 优势 适合座舱
点云 (x,y,z, intensity, doppler) 轻量,直观 ✓ 乘员定位
Range-Azimuth-Doppler 极坐标张量 保留完整信息 ✓ 信号处理
Occupancy Grid 3D体素网格 密集空间感知 ✓ 空间映射
BEV 鸟瞰图 适合检测 △ 座舱不适用
Tensor 原始雷达张量 无信息损失 ✓ 研究开发

4D雷达数据集汇总

数据集 场景 传感器 标注 适合座舱参考
Astyx 驾驶 4D雷达+相机 3D框 低
RADIal 驾驶 4D雷达+相机+LiDAR 无标注 低
Boreas 多天气 4D雷达+LiDAR 3D框 中
View-of-Delft 城市 4D雷达+相机+LiDAR 3D框+跟踪 中
WaterScenes 雨雾 4D雷达 语义分割 高（恶劣天气）

感知任务分类

1. 目标级感知

任务 方法 4D雷达特色 座舱对应
3D目标检测 PointRCNN, CenterPoint 俯仰角→高度 乘员3D框
多目标跟踪 SORT, AB3DMOT 多普勒→速度 乘员追踪
语义分割 RadarNet, SparseConv 点云语义 座椅/人体分类

2. 运动与定位

任务 方法 4D雷达特色 座舱对应
运动估计 EgoMotionNet 多普勒→自车速度 N/A
SLAM RadarSLAM 全天候建图 N/A
场景流 RAFT-Radar 4D点云运动场 乘员运动模式

3. 空间感知

任务 方法 4D雷达特色 座舱对应
占用预测 OccNet 3D体素占用 座舱占用图
密集深度 DepthNet 4D→深度 座舱3D重建
场景重建 4DGS 动态场景 座舱数字孪生

多模态融合策略

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
class FourDRadarFusion:
    """
    4D雷达多模态融合策略（综述总结）
    
    三种融合范式：
    1. 雷达主导：摄像头辅助雷达
    2. 摄像头主导：雷达辅助摄像头
    3. 对等融合：两者平等贡献
    
    座舱场景的融合：
    - 4D雷达（高度+运动） + 摄像头（纹理+语义）
    - 雷达做粗定位/分类，摄像头做精细识别
    """
    
    FUSION_STRATEGIES = {
        'early_fusion': {
            'method': '输入级融合：雷达张量+图像拼接',
            'advantage': '保留全部信息',
            'disadvantage': '计算量大',
            'cabin_use': '雷达点云+图像拼接做乘员分类'
        },
        'mid_fusion': {
            'method': '特征级融合：各自backbone+特征融合',
            'advantage': '平衡精度和速度',
            'disadvantage': '需要标注对齐',
            'cabin_use': '雷达特征+图像特征融合做DMS+OMS'
        },
        'late_fusion': {
            'method': '决策级融合：各自检测+结果合并',
            'advantage': '简单灵活',
            'disadvantage': '信息损失',
            'cabin_use': '雷达检测+摄像头检测投票'
        }
    }
    
    # 跨模态蒸馏（论文重点）
    DISTILLATION = {
        'LiDAR→4D雷达': '用LiDAR监督4D雷达模型训练',
        '相机→4D雷达': '用图像语义指导雷达语义分割',
        'cabin_application': '用摄像头DMS标签训练雷达DMS（去掉摄像头）'
    }

关键技术挑战（综述总结）

挑战 当前水平 目标 座舱对应
稀疏性 ~1000点/帧 密集化 座舱更近(2m)→密度更高
噪声/虚警 CFAR+后处理 端到端去噪 座舱金属反射更复杂
高度估计 4D比3D好 进一步提升 区分成人与儿童高度
多普勒利用 速度估计 呼吸/心跳级 微多普勒生命体征
标注成本 手动3D框 自动标注 座舱场景更难标
天气鲁棒 优于相机 进一步提升 座舱无天气影响

第二篇论文：4D雷达预处理框架

arXiv:2609.18542 · 2026年9月16日 · 7页7图
投稿：Transactions of the Korean Society of Automotive Engineers
作者：WooJin Jung et al.

核心贡献

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
class FourDRadarPreprocessing:
    """
    4D雷达预处理框架（arXiv:2609.18542）
    
    三大模块：
    1. P3DP: 百分位3D形状保留 → 从雷达张量提取点云
    2. MF-KDE: 多帧核密度估计 → 去噪+增密
    3. ENS: 嵌入式适配评估 → 精度+实时性+天气+复杂度
    """
    
    def P3DP(self, radar_tensor, percentile=95):
        """
        Percentile-based 3D Shape Preservation
        
        传统方法：CFAR（固定阈值）→ 噪声多
        P3DP：百分位数自适应 → 保留形状信息
        
        Args:
            radar_tensor: (Range, Azimuth, Elevation, Doppler)
            percentile: 百分位阈值
            
        Returns:
            point_cloud: (N, 5) [x,y,z, intensity, doppler]
        """
        # 沿Doppler维度取百分位
        intensity = np.percentile(
            np.abs(radar_tensor), percentile, axis=3
        )
        
        # 非零位置即为检测点
        mask = intensity > np.mean(intensity) * 2
        points = []
        
        for r, a, e in np.argwhere(mask):
            x = r * np.cos(e) * np.cos(a)
            y = r * np.cos(e) * np.sin(a)
            z = r * np.sin(e)
            d = np.argmax(np.abs(radar_tensor[r, a, e, :]))
            points.append([x, y, z, intensity[r, a, e], d])
        
        return np.array(points)
    
    def MF_KDE(self, point_clouds, num_frames=5):
        """
        Multi-frame Kernel Density Estimation
        
        跨多帧点云做KDE → 提高密度 + 去除孤立噪声
        
        座舱价值：
        - 多帧累积 → 儿童呼吸检测信号增强
        - KDE去噪 → 去除座椅金属反射
        """
        from scipy.stats import gaussian_kde
        
        all_points = np.concatenate(point_clouds[-num_frames:])
        
        if len(all_points) < 10:
            return point_clouds[-1]
        
        # KDE估计密度
        kde = gaussian_kde(all_points[:, :3].T)
        densities = kde(all_points[:, :3].T)
        
        # 保留高密度点
        threshold = np.percentile(densities, 50)
        filtered = all_points[densities > threshold]
        
        return filtered
    
    def ENS_score(self, accuracy, latency, weather_robustness, complexity):
        """
        Embedded & NetScore (ENS)
        
        综合评估嵌入式部署适配性：
        - 精度 (accuracy)
        - 实时性 (latency)
        - 天气鲁棒性 (weather_robustness)
        - 模型复杂度 (complexity)
        """
        alpha = 0.3  # 精度权重
        beta = 0.3   # 实时性权重
        gamma = 0.2  # 鲁棒性权重
        delta = 0.2  # 复杂度权重
        
        score = (
            alpha * accuracy / 100 +
            beta * (1 / latency) +
            gamma * weather_robustness +
            delta * (1 / complexity)
        )
        
        return score

IMS座舱4D雷达应用启示

1. 座舱4D雷达感知任务映射

综述任务 座舱对应 技术路线 优先级
目标检测 乘员存在检测 4D点云 + PointNet 🔴 P0
语义分割 人体/座椅分类 SparseConv 🟡 P1
运动估计 乘员运动模式 多普勒场景流 🟡 P1
占用预测 座舱占用图 3D体素 🟢 P2
场景重建 座舱数字孪生 4DGS 🟢 P2
跨模态蒸馏 摄像头→雷达 知识蒸馏 🔴 P0

2. 跨模态蒸馏的座舱应用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
class CabinCrossModalDistillation:
    """
    座舱场景的跨模态蒸馏
    
    核心思路：
    1. 用摄像头DMS标注训练"教师模型"（精度高）
    2. 用教师模型监督4D雷达"学生模型"训练
    3. 部署时只用4D雷达（去掉摄像头）
    
    优势：
    - 隐私保护（去掉摄像头）
    - 全天候（雷达不受光照影响）
    - 成本降低（一个雷达替代摄像头+雷达）
    """
    
    def __init__(self):
        self.teacher_model = None  # 摄像头DMS模型
        self.student_model = None  # 4D雷达DMS模型
        
    def train_distillation(self, paired_data):
        """
        跨模态蒸馏训练
        
        Args:
            paired_data: [(camera_frame, radar_pc, camera_label)]
        """
        for camera, radar, label in paired_data:
            # 教师模型（摄像头）输出软标签
            teacher_output = self.teacher_model(camera)
            
            # 学生模型（雷达）前向
            student_output = self.student_model(radar)
            
            # 蒸馏loss = 硬标签 + 软标签
            hard_loss = nn.CrossEntropyLoss()(
                student_output, label
            )
            soft_loss = nn.KLDivLoss()(
                nn.LogSoftmax()(student_output / 3),
                nn.Softmax()(teacher_output / 3)
            ) * 9  # 温度=3
            
            total_loss = hard_loss + 0.5 * soft_loss
            # 反向传播...

3. 4D雷达座舱技术路线图

timeline
    title 4D雷达座舱感知路线图
    2026-Q3 : 综述论文发表<br/>技术方向明确
    2026-Q4 : 4D雷达座舱原型<br/>点云→乘员检测
    2027-Q1 : 跨模态蒸馏<br/>摄像头→4D雷达
    2027-Q2 : 语义分割<br/>人体/座椅/物体分类
    2027-Q3 : 占用预测<br/>座舱3D体素图
    2027-Q4 : 量产部署<br/>替代摄像头DMS

4. 对IMS开发的具体建议

优先级 方向 具体内容 预期成果
🔴 P0 4D点云乘员检测 用PointNet做乘员存在+分类 检测率>95%
🔴 P0 跨模态蒸馏 摄像头标签→4D雷达模型 雷达DMS精度>85%
🟡 P1 P3DP预处理 百分位形状保留 点云质量提升
🟡 P1 MF-KDE去噪 多帧KDE增强 信号密度提升
🟢 P2 占用图 3D体素座舱映射 空间感知

测试代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
"""
4D雷达感知测试
"""
import numpy as np

def test_P3DP():
    """测试P3DP点云提取"""
    preprocessor = FourDRadarPreprocessing()
    
    # 模拟4D雷达张量 (Range, Azimuth, Elevation, Doppler)
    tensor = np.random.randn(50, 30, 20, 64) + 1j * np.random.randn(50, 30, 20, 64)
    # 添加模拟目标
    tensor[25, 15, 10, :] = 10  # 目标在R=25,A=15,E=10
    
    points = preprocessor.P3DP(tensor, percentile=95)
    assert points.shape[1] == 5
    print(f"✓ P3DP: 提取 {len(points)} 个点")

def test_MF_KDE():
    """测试多帧KDE去噪"""
    preprocessor = FourDRadarPreprocessing()
    
    # 模拟5帧点云
    frames = [np.random.randn(100, 5) for _ in range(5)]
    
    filtered = preprocessor.MF_KDE(frames, num_frames=5)
    assert len(filtered) > 0
    print(f"✓ MF-KDE: {sum(len(f) for f in frames)} → {len(filtered)} 点")

if __name__ == "__main__":
    print("=" * 60)
    print("4D雷达感知测试套件")
    print("=" * 60)
    test_P3DP()
    test_MF_KDE()
    print("=" * 60)
    print("所有测试通过 ✓")
    print("=" * 60)

总结

这两篇论文的核心价值：

综述论文：

  1. 任务演进路线图：从目标检测→语义分割→占用预测→场景重建
  2. 4D vs 3D优势：俯仰角+更高密度+更高多普勒分辨率
  3. 跨模态蒸馏：用摄像头标签训练雷达模型，去掉摄像头

预处理论文：

  1. P3DP：百分位形状保留，比CFAR更好的点云质量
  2. MF-KDE：多帧KDE去噪增密
  3. ENS评估：嵌入式适配综合评分

对IMS的最终启示：

  • 4D雷达是座舱感知的理想传感器：高度信息+多普勒+密度
  • 跨模态蒸馏路线：先用摄像头建标注，再蒸馏到4D雷达
  • P3DP+MF-KDE预处理：提升4D雷达点云质量和密度
  • 最终目标：纯4D雷达DMS/OMS（去摄像头，保隐私，全天候）
https://dapalm.com/2026/09/20/2026-09-20-04-4d-radar-perception-review-cabin-ims/
作者
Mars
发布于
2026年9月20日
许可协议