前言
传统基于摄像头的 DMS 存在光照敏感、遮挡问题、隐私担忧等局限。毫米波雷达提供了非接触、隐私友好的替代方案。Electronics 2025 发表的 RTSFN（Radar-based Temporal-Spatial Fusion Network）实现了行为和生理信号的多模态融合检测。
一、毫米波雷达优势
1.1 与摄像头对比
| 维度 |
摄像头 |
毫米波雷达 |
| 隐私 |
有隐私问题 |
隐私友好 |
| 光照 |
光照敏感 |
不受光照影响 |
| 遮挡 |
易受遮挡 |
可穿透遮挡 |
| 生理信号 |
无法检测 |
可检测心率、呼吸 |
| 成本 |
中等 |
中等 |
1.2 工作原理
FMCW（调频连续波）雷达通过测量目标的距离、速度、角度信息进行感知：
| 信息 |
原理 |
| 距离 |
发射信号与反射信号的频率差 |
| 速度 |
多普勒效应导致的相位变化 |
| 角度 |
多天线相位差 |
二、RTSFN 架构
2.1 整体设计
1
2
3
4
5
6
7
8
9
| 雷达信号
↓
├─ Range-Doppler Map → 时域编码器 → 时域特征
├─ Range Profile ────────┐
└─ Noise Profile ────────┴→ 空域编码器 → 空域特征
↓
交叉门控融合 → 驾驶行为分类
↓
生理信号处理 → 心率/呼吸率估计
|
2.2 核心模块
| 模块 |
功能 |
| 时域编码器（Gated TCN） |
捕捉长程运动模式 |
| 空域编码器（SE-CNN） |
编码静态姿态特征 |
| 交叉门控融合 |
动态整合时域和空域特征 |
| 生理信号模块 |
提取心率、呼吸率 |
2.3 输入数据类型
| 数据类型 |
维度 |
用途 |
| Range-Doppler Map |
16×64×14 |
运动模式分析 |
| Range Profile |
64×1×14 |
静态姿态分析 |
| Noise Profile |
64×1×14 |
环境噪声分析 |
三、生理信号检测
3.1 心率检测流程
1
2
3
4
5
6
7
8
9
10
11
12
13
| 复数I/Q数据
↓
构建相位矩阵
↓
相位解缠 + 最优距离仓选择
↓
去噪 + 模板匹配
↓
包络提取 + 带通滤波（0.8-2.0 Hz）
↓
Chirp-Z变换频率估计
↓
心率（BPM）
|
3.2 呼吸检测流程
1
2
3
4
5
6
7
8
9
10
11
12
13
| 复数I/Q数据
↓
相位矩阵构建
↓
相位解缠 + 天线平均
↓
低秩稀疏分解（RPCA）
↓
稀疏频谱恢复（FISTA）
↓
呼吸频率估计（0.1-0.6 Hz）
↓
呼吸率（BPM）
|
3.3 检测精度
| 指标 |
准确率 |
| 心率估计 |
92% |
| 呼吸率估计 |
95% |
四、行为检测
4.1 检测行为类别
| 类别 |
说明 |
| 正常驾驶 |
安全都状态 |
| 打哈欠 |
疲劳指标 |
| 点头 |
疲劳指标 |
| 使用手机 |
分心行为 |
| 转身后看 |
分心行为 |
| 前倾取物 |
分心行为 |
| 喝水 |
分心行为 |
4.2 检测精度
| 行为 |
准确率 |
| 打哈欠 |
98% |
| 使用手机 |
95% |
| 转身后看 |
93% |
| 正常驾驶 |
98% |
| 危险驾驶检测 |
94%+ |
五、硬件平台
5.1 雷达硬件
| 参数 |
规格 |
| 型号 |
TI AWR1642BOOST |
| 频段 |
77 GHz |
| 天线配置 |
2 TX × 4 RX = 8 虚拟天线 |
| 集成 DSP |
支持 |
5.2 边缘平台
| 参数 |
规格 |
| 型号 |
NVIDIA Jetson Orin Nano |
| AI 性能 |
40 TOPS |
| 功耗 |
7-15W |
| 实时性 |
> 45 FPS |
六、与竞品对比
6.1 行为检测精度对比
| 方法 |
传感器 |
手机使用 |
打哈欠 |
转身后看 |
| RTSFN |
毫米波雷达 |
95% |
98% |
93% |
| Sen et al. |
毫米波雷达 |
92% |
94% |
88% |
| Sengar et al. |
摄像头 |
90% |
88% |
85% |
| Shariff et al. |
事件相机 |
85% |
82% |
80% |
6.2 优势分析
| 优势 |
说明 |
| 隐私保护 |
无图像采集 |
| 光照鲁棒 |
不受光照影响 |
| 生理信号 |
可检测心率、呼吸 |
| 非接触 |
无需穿戴设备 |
七、对 IMS 开发的启示
7.1 技术路线
| 阶段 |
方案 |
| P0 |
红外摄像头 DMS |
| P1 |
摄像头 + 雷达融合 |
| P2 |
雷达为主，摄像头辅助 |
7.2 融合策略
| 模态 |
优势 |
用途 |
| 摄像头 |
视线追踪、面部特征 |
分心检测、疲劳检测 |
| 毫米波雷达 |
生理信号、隐私友好 |
心率监测、行为检测 |
7.3 成本考虑
| 方案 |
成本增量 |
| 仅摄像头 |
基准 |
| 摄像头 + 雷达 |
+$20-50 |
八、未来方向
8.1 论文提出
| 方向 |
说明 |
| 多乘员监控 |
同时监控多名乘员 |
| 动态场景 |
真实驾驶环境测试 |
| ADAS 集成 |
与驾驶辅助系统联动 |
8.2 技术演进
| 方向 |
说明 |
| 更高精度 |
提升生理信号估计精度 |
| 多雷达融合 |
多角度雷达融合 |
| 深度学习优化 |
模型轻量化 |
总结
RTSFN 的核心贡献：
- 多模态融合：行为 + 生理信号同时检测
- 隐私友好：毫米波雷达无需图像
- 高精度：行为检测 >94%，生理信号 >92%
- 实时性能：Jetson Orin Nano 上 >45 FPS
- 非接触：无需穿戴设备
对于 IMS 开发，毫米波雷达是摄像头的重要补充，尤其在隐私敏感场景。
参考来源：
发布日期： 2026-04-10