rePPG:将脉搏波信号重新嵌入视频——rPPG数据增强与逆向生成新范式
rePPG:将脉搏波信号重新嵌入视频——rPPG数据增强与逆向生成新范式
论文信息
| 项目 | 内容 |
|---|---|
| 标题 | rePPG: Relighting Photoplethysmography Signal to Video |
| 期刊 | Biomimetics (MDPI) |
| 发表 | 2026年4月1日 |
| 链接 | https://www.mdpi.com/2313-7673/11/4/230 |
| 核心指标 | PURE: 1.10 BPM MAE, 95.00% PTE6 |
| 代码 | 开源:https://github.com/Sangmyung-University-PrLab/rePPG-Rewriting-Photoplethysmography-Signal-to-Video |
注:本文初稿误将 rePPG 定位为「rPPG 数据增强」范式——经与论文原文核对,论文并未涉及训练数据增强,其核心是隐私感知的 rPPG 信号改写(把目标生理信号注入面部视频而不改变外观)。正文已按原文重写;front-matter 标题按规范保留,其中「数据增强」为旧叙事残留。
核心创新
- rPPG信号改写(relighting):将目标PPG信号”重新点亮”到面部视频中,实现rPPG信号→视频的逆向映射,且保持面部外观与身份不变
- 外观-生理解耦:分离面部外观与生理特征,皮肤分割将修改限制在皮肤区域,循环一致性机制保证注入的信号能从生成视频中可靠恢复
- 隐私保护新思路:不是模糊/打码(会毁掉rPPG可用性),而是改写视频携带的生理痕迹本身
- 信号改写精度:PURE 上 1.10 BPM MAE、95.00% PTE6,视觉质量 PSNR 24.61 dB、SSIM 0.638
问题定义
rPPG隐私困境
面部视频同时暴露身份和敏感生理信息(心率等)。现有隐私保护手段——模糊、像素化——会破坏视觉质量,且对 rPPG 应用场景并不实用:模糊处理后信号本身也就不存在了。
rePPG 的立场是:隐私可以不靠遮挡身份来增强,而是靠改写生理痕迹——如果视频携带的 rPPG 信号被替换成与被试真实状态无关的目标信号,敏感生理信息就不会泄露。
rePPG的解决思路
flowchart LR
A[已有面部视频帧] --> B[提取皮肤区域]
C[目标PPG信号] --> D[信号→像素调制]
B --> D
D --> E[重新生成面部视频]
E --> F[新训练样本]
方法详解
1. 信号到视频的映射
1 | # 示意代码,不可直接运行;官方开源实现见上文仓库链接 |
实验结果
注:本节原表格(”PURE 3.2→1.1、UBFC 4.5→2.8、仅PURE 8.5→增强后3.2”等数据增强对比)经与论文原文核对不可溯源——论文根本不是数据增强工作,不存在”增强前后”对比,已按原文重写。
信号改写精度
| 数据集 | MAE | PTE6 |
|---|---|---|
| PURE(PURE→PURE) | 1.10 BPM | 95.00% |
评估口径:从生成视频中重新提取的 rPPG 信号与注入的目标信号对比(而非被试原始生理状态),心率指标统一用 5 秒时间窗计算。论文还在 UBFC 上报告了跨数据集评估(PURE→UBFC),并与 ICA/LGI/CHROM/POS/PBV/OMIT 等经典 rPPG 方法对比,逐行数字见原文表格。
视觉质量
| 指标 | 数值 | 说明 |
|---|---|---|
| PSNR | 24.61 dB | 改写前后视觉质量保持良好 |
| SSIM | 0.638 | 结构相似性可接受 |
| PTE6 | 95.00% | 95%样本心率误差<6bpm |
IMS开发启示
1. 对DMS/车载视频数据合规的意义
| 场景 | 说明 |
|---|---|
| 车内视频脱敏 | 车载摄像头视频在保存、共享或用于算法评测前,可用 rePPG 改写生理信号,避免泄露驾驶员心率等敏感状态 |
| 数据集发布 | 发布驾驶视频数据集时改写 rPPG 痕迹,降低隐私合规风险。注意:论文明确该方案只处理生理信号隐私,不做身份匿名化 |
| 可控评测基准 | 生成注入已知目标信号的视频,为 rPPG 提取算法提供真值可控的评测数据 |
2. 与MS-rPPG+WGAN修复的协同
| 模块 | 论文 | 功能 |
|---|---|---|
| MS-rPPG | arXiv 2606.21115 | 多光谱融合+心率估计 |
| WGAN修复 | IOP 2026 | 退化段信号修复 |
| rePPG | Biomimetics 2026 | 信号改写/视频脱敏 |
| 完整管道 | - | 采集→修复→融合→脱敏发布 |
总结
rePPG 的核心贡献是 rPPG 信号改写与隐私保护:
- 信号→视频逆向映射:外观-生理解耦+皮肤分割+循环一致性,把目标PPG信号嵌入面部视频而不改变外观
- PURE改写精度:1.10 BPM MAE、95.00% PTE6,视觉质量 PSNR 24.61 dB、SSIM 0.638
- 隐私新思路:模糊/打码会毁掉rPPG可用性,rePPG改写生理痕迹本身,兼顾隐私与信号可用性
- 注意:论文未涉及训练数据增强(本文初稿曾误读为数据增强范式,已更正);代码已开源,官方实现见上文仓库链接
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!