4D毫米波雷达感知综述：从目标检测到动态场景重建（arXiv 2609.19216 论文解读）

4D毫米波雷达感知综述

论文信息

项目	内容
标题	4D Radar Perception Algorithms for Autonomous Driving: A Review
arXiv	2609.19216
搜索范围	Google Scholar, IEEE Xplore, arXiv, OpenAlex（截至2026年8月18日）
组织方式	按感知任务演进：信号处理→检测→跟踪→语义分割→运动估计→占用预测→动态重建

综述框架

graph TD
    A[4D毫米波雷达感知] --> B[信号处理与增强]
    A --> C[目标检测]
    A --> D[目标跟踪]
    A --> E[语义分割]
    A --> F[运动估计]
    A --> G[占用预测]
    A --> H[动态场景重建]
    
    B --> B1[点云生成]
    B --> B2[信号去噪]
    B --> B3[多普勒补偿]
    
    C --> C1[PointPillars]
    C --> C2[CenterPoint]
    C --> C3[Doracamom: 检测+占用联合]
    
    E --> E1[点云分割]
    E --> E2[BEV语义分割]
    
    G --> G1[密集占用网格]
    G --> G2[Doracamom多视角]
    
    H --> H1[4D雷达+相机融合]
    H --> H2[动态场景流]

核心技术演进

1. 从3D到4D雷达

特性	3D雷达	4D雷达
维度	距离+方位+速度	距离+方位+俯仰+速度
高度感知	❌ 无	✅ 有
点云密度	~100点/帧	~10,000点/帧
角分辨率	5-10°	1-2°
语义信息	弱	强（支持分割）

2. Doracamom：检测+占用联合

论文特别提到Doracamom（IEEE TCSVT 2026），是4D雷达多视角融合的重要工作：

指标	Doracamom	纯检测方法
检测AP	72.3	68.5
占用IoU	0.65	-
推理速度	35fps	45fps

3. 感知任务分类

class Radar4DPerception:
    """4D雷达感知任务分类"""
    
    TASKS = {
        'signal_processing': {
            'description': 'ADC原始数据→点云',
            'methods': ['CFAR', 'DNN-based denoising', 'Doppler compensation'],
            'output': 'point_cloud (N, 5): x, y, z, doppler, intensity',
            'challenge': '噪声/杂波/多径效应'
        },
        'object_detection': {
            'description': '点云→3D边界框',
            'methods': ['PointPillars', 'CenterPoint', 'Doracamom'],
            'output': 'boxes (M, 7): x, y, z, w, l, h, heading',
            'metrics': 'AP@0.5, AP@0.7',
            'challenge': '稀疏点云+多尺度目标'
        },
        'semantic_segmentation': {
            'description': '点云→语义标签',
            'methods': ['RangeNet++', 'SqueezeSegV3', 'RadSegNet'],
            'output': 'labels (N,): car, pedestrian, building, vegetation...',
            'metrics': 'mIoU',
            'challenge': '点云稀疏+类别不平衡'
        },
        'occupancy_prediction': {
            'description': '点云→密集占用网格',
            'methods': ['OpenOccupant', 'Doracamom', 'OccFusion'],
            'output': 'occupancy (W, H, D): 0-1 occupied + semantic',
            'metrics': 'IoU, VPQ',
            'challenge': '分辨率-效率权衡'
        },
        'motion_estimation': {
            'description': '多帧→运动状态',
            'methods': ['AB3DMOT', 'ShaFA', 'immersion tracking'],
            'output': 'tracks (K, 8): x, y, z, vx, vy, vz, class, ID',
            'metrics': 'AMOTA, MOTA',
            'challenge': '多目标数据关联'
        },
        'scene_reconstruction': {
            'description': '多帧→动态3D场景',
            'methods': ['4D-RT, NeuralSurf, DynamicOcc'],
            'output': '4D occupancy field + flow',
            'metrics': 'scene-level IoU',
            'challenge': '动态/静态分离'
        }
    }

4. 座舱内4D雷达应用

虽然综述聚焦自动驾驶外部感知，4D雷达技术同样适用于座舱内：

座舱应用	外部对应技术	适配要点
CPD儿童检测	占用预测	座舱小空间→高分辨率
呼吸检测	多普勒估计	微动（mm级）→高灵敏度
乘员姿态	语义分割	密集点云→人体网格
手势识别	运动估计	近距离→高帧率
安全带状态	目标检测	薄目标→特殊处理

关键数据集

数据集	规模	传感器	场景	任务
Astyx HiFiD	500帧	4D雷达+相机	城市	检测
RADIant	10K帧	4D雷达+LiDAR+相机	多场景	检测+分割
Boreas	8K帧	4D雷达+LiDAR	全天候	检测+跟踪
VoD	5K帧	4D雷达+相机	城市	检测(远距)
Doracamom	15K帧	4D雷达×4+相机	全向感知	检测+占用

性能基准

目标检测

方法	数据集	AP@0.5	AP@0.7	FPS
PointPillars (2020)	Astyx	62.1	38.5	45
CenterPoint (2022)	Astyx	68.5	45.2	40
Doracamom (2026)	自建	72.3	51.7	35
RadFormer (2026)	RADIant	70.8	48.1	30

占用预测

方法	数据集	IoU	VPQ	FPS
OpenOccupant	Boreas	0.58	-	15
OccFusion	VoD	0.61	-	12
Doracamom	自建	0.65	42.3	35

IMS 应用启示

1. 4D雷达选型

4D雷达	通道	分辨率	帧率	座舱适用	成本
Oculii Eagle	8T×8R	2°	20fps	⚠️ 外部	$$
Smartmicro UMM	4T×4R	3°	30fps	⚠️ 外部	$$
Calterah Dubhe	3T×4R	5cm	20fps	✅ 座舱	$
indie 120GHz	4T×4R	2cm	30fps	✅ 座舱	$$$$

2. 座舱4D感知管线

class Cabin4DRadarPerception:
    """
    座舱4D雷达感知管线
    
    基于外部感知技术适配座舱场景
    """
    
    def __init__(self):
        # 信号处理
        self.signal_processor = RadarSignalProcessor()
        # 点云→占用
        self.occupancy_net = CabinOccupancyNet()
        # 语义分割
        self.segmentation = PointCloudSegmentation()
        # 运动估计
        self.tracker = MicroMotionTracker()
        
    def process(self, adc_data):
        # 1. ADC→点云
        pc = self.signal_processor.to_pointcloud(adc_data)
        # (N, 5): x, y, z, doppler, intensity
        
        # 2. 占用预测（座舱网格）
        occ = self.occupancy_net(pc)
        # (40, 40, 20): 座舱体素占用
        
        # 3. 语义分割
        labels = self.segmentation(pc)
        # (N,): person/seat/belt/child/empty
        
        # 4. 微动跟踪（呼吸/心跳）
        motion = self.tracker.track(pc, history)
        # 呼吸频率、心跳频率
        
        return {
            'point_cloud': pc,
            'occupancy': occ,
            'semantic': labels,
            'breathing_rate': motion.get('breathing'),
            'heart_rate': motion.get('heart'),
            'child_detected': labels.any(l => l == 'child'),
        }

3. Euro NCAP 关联

Euro NCAP 2026	4D雷达贡献
CPD	✅ 占用预测直接适用
OOP	✅ 语义分割+姿态
乘员分类	✅ 体型+占用模式
安全带误用	⚠️ 需要高分辨率

未来趋势

论文总结的4D雷达感知发展趋势：

趋势	方向	预期时间	挑战
多模态融合	4D雷达+相机+LiDAR	已开始	时序对齐
端到端感知	ADC→端到端输出	2027+	可解释性
神经辐射场	4D雷达NeRF	2027+	动态场景
大规模预训练	4D雷达基础模型	2028+	数据量
语义占用	密集语义3D	2026+	计算量

总结

4D雷达感知综述是该领域的里程碑：

1. 全面覆盖 — 从信号处理到动态重建全链路
2. Doracamom重要贡献 — 中国团队多视角4D雷达+相机融合
3. 座舱适配 — 外部感知技术可迁移到座舱
4. 占用预测 — 4D雷达的杀手级应用（CPD/OOP直接受益）
5. IMS建议 — 跟踪4D雷达占用预测技术，适配座舱CPD和OOP检测