rPPG信号质量评估:机器学习驱动的车载驾驶员远程脉搏监测——应对运动伪影与动态光照
rPPG信号质量评估:机器学习驱动的车载驾驶员远程脉搏监测——应对运动伪影与动态光照
论文信息
| 项目 | 内容 |
|---|---|
| 标题 | Machine learning-based remote PPG signal quality assessment for in-vehicle driver monitoring |
| 期刊 | Biomedical Signal Processing and Control, Vol. 119, Part B |
| 发表 | 2026年2月21日 |
| 作者 | Babac S, Vosters LPJ, Vullings R, Zinger S, van Gastel MJH |
| 机构 | Eindhoven University of Technology(荷兰) |
| 链接 | https://doi.org/10.1016/j.bspc.2026.109869(OA, CC-BY) |
| 研究 | 埃因霍温理工大学+TU/e Smart Mobility |
核心创新
- 车载rPPG信号质量机器学习评估:专门针对车内环境运动伪影和动态光照
- 质量分类而非直接心率:先评估信号可靠性,再决定是否信任rPPG输出
- 驾驶场景特定:不同于医疗/静止场景,针对振动、光照变化、头部运动优化
- 与现有DMS摄像头集成:无需额外传感器
问题定义
车载rPPG三大挑战
| 挑战 | 静止场景 | 车载场景 | 影响 |
|---|---|---|---|
| 运动伪影 | 极小 | 频繁(头部运动、振动) | rPPG信号被淹没 |
| 光照变化 | 受控 | 隧道进出、树荫、阳光角度 | 信号基线漂移 |
| 实时性要求 | 可后处理 | 需实时质量判定 | 延迟<1s |
信号质量评估的必要性
flowchart TD
A[rPPG原始信号] --> B{信号质量评估}
B -->|高质量| C[信任心率输出]
B -->|低质量| D[标记不可靠]
D --> E[切换到备用估计]
D --> F[降低置信度]
D --> G[请求用户配合]
C --> H[正常健康监测]
E --> I[IMU/ECG融合]
方法详解
信号质量评估管道
1 | # 示意代码,不可直接运行(质量特征提取与规则分类为本站简化示意, |
实验结果
以下数字来自论文摘要(可在 DOI 页 核对):
- 研究对象:首个系统性评估 ML/DL 方法用于车载 rPPG 信号质量分类的研究
- 对比方法:XGBoost、SVM、CNN、LSTM,跨时域/频域多种输入表示
- 关键发现:峰值中心化幅度谱(peak-centered magnitude spectrum)显著提升可靠/不可靠 rPPG 信号段的区分能力
- 最优模型:XGBoost 使用排名前五的频域特征,AUC 0.86,灵敏度表现良好,优于现有 SOTA PPG 质量方法,且计算成本(FLOPS 口径)远低于后者
- 数据规模:31 名驾驶员、多种真实驾驶条件验证
注:分场景 SNR 分布与逐分类器的准确率/精确率/召回率/F1 细分数字,请以论文正文为准,此处仅摘录摘要明确给出的数字。
分类器对比(定性)
- 摘要未给出各分类器逐项准确率数字,但从结论可确认的定性排序是:XGBoost + 峰值中心化幅度谱 为最优组合,传统方法(SVM 等)与深度方法(CNN/LSTM 等)均在其对比之列
- 工程含义:车载 rPPG 质量评估不需要重量级深度模型——低计算成本的频域特征+梯度提升树即可达到优于 SOTA 的质量判别,这对量产 DMS 的算力预算非常友好
IMS开发启示
1. rPPG质量评估在IMS中的位置
flowchart TD
A[DMS摄像头] --> B[面部检测+ROI提取]
B --> C[rPPG信号提取]
C --> D[信号质量评估]
D -->|Excellent/Good| E[心率输出→健康监测]
D -->|Fair| F[降级输出→趋势估计]
D -->|Poor| G[标记不可靠→暂停输出]
G --> H[切换到ECG/PPG备份]
2. 与MS-rPPG的协同
| 组件 | MS-rPPG (#14) | 质量评估 (本论文) | 协同 |
|---|---|---|---|
| 目标 | 多光谱rPPG提取 | 信号质量判定 | 提取+验证 |
| 输入 | RGB+NIR视频 | rPPG信号 | 管道 |
| 输出 | 心率估计 | 质量等级 | 可信心率 |
| 场景 | 驾驶舱多光照 | 运动/光照干扰 | 鲁棒性 |
3. 完整rPPG管道
| 步骤 | 方法 | 来源 |
|---|---|---|
| 1. 采集 | DMS RGB-IR摄像头 | 现有硬件 |
| 2. ROI提取 | 面部检测+额头/脸颊ROI | MediaPipe |
| 3. rPPG提取 | MS-rPPG多光谱Mamba | 论文#14 |
| 4. 质量评估 | ML质量分类 | 本论文 |
| 5. 心率估计 | 高质量段→Welch峰值 | 标准 |
| 6. 健康监测 | 心率变异性+趋势 | 上层应用 |
| 7. 数据增强 | rePPG relighting | 论文#21 |
4. 部署参数
论文摘要未提供逐项部署参数(窗口长度、模型大小、推理延迟、目标处理器等均无),以下仅为定性结论:
- 论文强调最优 XGBoost 模型的计算成本以 FLOPS 计远低于 SOTA PPG 质量方法,面向未来 DMS 的计算高效部署
- 具体的窗口/频率/内存/延迟参数请以论文正文为准,此处不做具体声明
总结
rPPG信号质量评估是车载心率监测从实验走向量产的关键缺失环节:
- 先评估质量再输出:避免不可靠心率误导驾驶决策
- 频域特征+XGBoost达AUC 0.86:峰值中心化幅度谱是关键,计算成本远低于SOTA PPG质量方法
- 车载特定场景验证:31名驾驶员、多种真实驾驶条件
- 与MS-rPPG管道无缝衔接:提取→质量评估→可信心率输出
- 轻量ML优于深度模型:对边缘部署与量产DMS算力预算友好(具体模型大小/延迟原文未提供)
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!