接触式标签不一定更好:rPPG 伪标签边界精读(arXiv 2609.10026)——软件同步数据上 TS-CAN 用金标准训练 MAE 8.61,用 POS 伪标签反而 0.73

深度 rPPG 模型的训练一直默认一条铁律:必须有视频与接触式传感器(指尖血氧/ECG)精确同步的”金标准”标签,而这套数据采集贵、慢、难扩。arXiv 2609.10026(Acharya、Hammer、Drimalla,Bielefeld 大学,v1 2026-09-09,未挂 venue、未放代码)把这条铁律拆开量化了:在软件时间戳同步的数据集(CHILL,45 人)上,用接触式金标准直接监督训练 TS-CAN,心率 MAE 高达 8.61 bpm;换成用 POS 信号处理算法从视频里自提的伪标签训练,同一个模型 MAE 降到 0.73——差距 12 倍。而在硬件级同步的 PURE(10 人)上,两种标签打平。边界不在”伪标签 vs 金标准”,而在同步质量。

这对我们 IMS 团队是直接的预算问题:车载舱内 rPPG 的训练数据要么自采(部署接触式参考、做时间对齐,每个被试都是一次现场工程),要么复用公开数据集(同步质量参差)。这篇论文给出的是一条省钱路线的适用条件——什么时候伪标签可替代、什么时候不能——以及一个比结论更值钱的发现:一个被试的噪声伪标签就能让跨域泛化从 0.92 崩到 3.66,而指标不会提前警告你。它与 StreamPPG 特权学习恰好构成同一枚硬币的两面:那篇回答”接触式教师怎么用在训练期”,这篇回答”教师标签什么时候可信”。

信源声明:本文主论文数字出自 arXiv 2609.10026 全文 HTML 两遍通读(abs 页 + 实验节/讨论节逐条提取);CHILL 数据集的采集细节与”POS 在挑战性数据集上超过深度模型”的证据出自同组 npj Digital Medicine 论文全文(nature.com,s41746-025-02192-y,2025-12-03 开放获取);StreamPPG 的 CPL 配方与消融数字出自本站 StreamPPG 精读文(该文基于 arXiv 2606.23186 全文两次通读,本文另抓其 abs 页核证 CPL 表述);TS-CAN 出自 EfficientPhys arXiv:2110.04447 abs 页。POS 原文(Wang et al., IEEE TBME 2017)与 PURE 数据集原文(Stricker et al., RO-MAN 2014)未直接阅读,细节均按 2609.10026 引述转写并在文中标注。2609.10026 为单版本预印本、无代码、无 venue,按”待同行评议”对待。

背景:接触式标签的两笔账

rPPG 深度模型监督训练需要逐帧对齐的血容量脉冲(BVP)波形标签。这带来两笔账。第一笔是采集成本:每个被试都要佩戴接触式传感器、控制光照与运动、录完再做对齐——这也是站内 Template Collapse 文论证过的问题的另一面:公开数据集规模与多样性长期受限,部分正因为标签贵。第二笔账更隐蔽:同步误差。接触式参考与摄像头之间有物理延迟链——从心脏到手指与到面部的脉搏传播时间差(PTT)、设备采集延迟、软件时间戳的抖动——金标准本身带着时间轴上的系统性偏移。2609.10026 的立论是:这笔同步账在某些数据集上比伪标签的信号质量账更贵。

论文选了两个同步质量处于两端的公开数据集做对照(数据集原文未直接阅读,细节据 2609.10026 转写):

CHILL 数据集出自同组 2025 年的 npj Digital Medicine 论文,定位就是”挑战性”基准:低光照 + 升高心率两个轴,180 段一分钟录像。这篇前作还有一个对本文关键的事实:在该数据集上,POS 这个 2017 年的信号处理算法跑赢了全部 8 个被测方法(4 个信号处理 + 4 个深度模型)——在挑战性条件下,深度模型并不天然占优,这让”用 POS 的输出当标签”有了质量下限。

核心机制:三种训练信号

论文构造了三种训练信号,同一个模型架构、同一套训练配置(PhysNet:128 帧段 64×64;TS-CAN:160 帧段 36×36、帧深 10;SALSA 优化器、30 epochs、batch 64;全部基于 rPPG-Toolbox),唯一变量是标签来源:

flowchart TB
    V[人脸视频] --> FD[YOLO5Face 检测裁剪]
    FD --> POS[POS 信号处理<br>Wang et al. 2017]
    POS --> BP[带通 0.7–3.0 Hz<br>二阶 Butterworth]
    BP --> HT[Hilbert 变换取包络]
    HT --> PS[Pseudo-PPG<br>纯视频自提,零接触成本]

    FS[指尖接触 PPG] --> FG[Finger-PPG<br>金标准监督]
    FG -- 互相关对齐 --> SG[Synced-PPG<br>形态保真+时间补偿]

    PS & SG & FG --> M[同一模型<br>PhysNet / TS-CAN]

三种信号的意图:

Synced-PPG 是三种里设计最聪明的:它保留接触式信号的形态保真度,只把时间轴平移到与 POS 输出对齐——把”同步误差”与”信号质量”两个变量拆开。结果也证明这个拆分是必要的(见下)。

测试时统一走同一套评估:预测信号带通 0.75–3.0 Hz(45–180 bpm),Welch 功率谱峰值频率取心率,报中位数 MAE(逐被试 Wilcoxon 符号秩检验),不报 RMSE 与相关系数。

实验与证据:四象限结果与一个被试的崩塌

四象限:同步质量决定伪标签的适用区

主实验四个格子(中位数 MAE,bpm;括号内为显著性与对照):

四个格子读出来三条结论。第一,同步质量是分界线:CHILL 库内与 CHILL→PURE 两个象限里伪标签碾压金标准——而且 TS-CAN 用金标准在 CHILL 库内训出 8.61,比用伪标签差 12 倍,这不是”伪标签不错”,是”金标准在这个数据集上是有毒的”。摘要里那句话值得原样记住:”对同步不完美的数据集,伪标签方法胜过在接触传感器上做监督训练”。第二,Synced-PPG 单独修正同步就能大幅回血(CHILL 库内 TS-CAN 从 8.61 回到 0.92),证明 CHILL 上金标准的毒性主要来自时间轴错位而非信号形态。第三,硬件同步的 PURE 上,金标准重新占优(PURE→CHILL 象限),伪标签没有全胜叙事。

还有一个对照性的细节:CHILL 库内,POS 原始输出(不训练任何深度模型)MAE 0.55,而 TS-CAN 用 Pseudo-PPG 训练后是 0.73(p=.003,伪标签训练显著差于不训练)——深度模型目前在这类挑战性数据上没有兑现”超过信号处理方法”的承诺,与 npj 前作的结论一致。

一个被试的崩塌:标签质量的杠杆效应

PURE→CHILL 象限里 TS-CAN 用伪标签训出 3.66,论文做了敏感性分析,发现 PURE 的 9 号被试的 POS 估计误差远高于其他被试,产生了噪声伪标签。剔除这一个被试重训:

三个读数:一个被试(占训练集 10%)的噪声标签主导了整个跨域结果;剔除后伪标签(1.10)仍显著差于金标准(0.99,p<.001)与 Synced(0.92,p=.002)——质量修到顶,同步良好时金标准依然有优势;而 Finger-PPG 剔除后反而变差,说明它的 0.92 里有部分来自”碰巧平均掉了 P9 的贡献”,样本量 10 的数据集上这类波动要谨慎解读。论文自己的结论是:”伪标签质量直接决定模型泛化”。

论文没有做、要替它说清的事

按硬标准列边界,这些是引用本文时必须带上的限制:只测了两个 CNN 架构(PhysNet、TS-CAN),没有 Transformer 类模型——这是有意为之(隔离标签变量),但结论不能直接外推到新架构;同步质量只有”软件 vs 硬件”的定性区分,论文没有量化同步误差的分布;只有 MAE 一个指标,没有波形形态评估;CHILL 的心率条件覆盖 54–141 bpm 且含升高心率段,恰是 npj 前作证明深度模型掉分最重的区域(PhysNet 用 PURE 训练在 CHILL 高心率段中位数差 13.55 bpm);无代码、无 venue、单版本预印本。

与特权学习的关系:同一枚硬币的两面

把 StreamPPG 的 CPL放在旁边看,两条工作回答的是接触式教师在训练管线里的两个不同问题:

两条线共享一个深层结构:教师信号本身是需要验收的数据,不是天然真理。2609.10026 的 Synced-PPG 与 StreamPPG 的”平移过的真值信号 token”做的是同一件事——互相关对齐;2609.10026 的”噪声伪标签毁跨域”与 StreamPPG 的”掩码漏了毁全部”是同一类失败——训练信号与推理条件的信息差。区别在工程含义:伪标签路线省的是采集成本,特权学习路线省的是推理期成本(教师不占推理资源),前者适合数据闭环的批量生产,后者适合把已有的贵标签榨出更多表示收益。

对 IMS 团队的启示

1. 先审计同步,再决定标签路线:车载自采 rPPG 数据前,先测参考传感器与摄像头的时间对齐误差(做一个闪烁 LED 或音频 clap 的对齐夹具即可量化)。若同步误差与脉搏周期(约 0.8–1 s)相比不可忽略,考虑 Synced-PPG 式互相关补偿,或直接用 POS 伪标签——本文证据表明在同步差的条件下这不是降级方案,是更优方案。
2. 数据闭环的标签质检节点:伪标签路线的崩塌模式是单个被试的噪声污染整个跨域模型。流程上应加一道伪标签质量门(按被试聚合的 POS 估计误差分布,离群被试单独审查);本文的局限是它自己也承认——质检仍需接触式真值,无真值的质量评估方法尚不存在,这是一个明确的开放问题,也是值得立预研项的方向。
3. 不要假设”模型一定赢算法”:同组 npj 论文显示 POS 在挑战性条件(低光 + 高心率)上压过全部 8 个深度方法。车载预研的对照组里应保留 POS/CHROM 这类信号处理基线——它们同时还是免费的伪标签生成器。
4. 跨库不对称要进验收设计:CHILL→PURE 与 PURE→CHILL 的结果不对称(伪标签在”从难到易”方向反而最强)。域泛化验收不能只测一个方向;舱内场景应构造”训练分布 ⊂ 部署分布”的评估,而不是反过来。
5. 外推边界:两个 CNN 架构、10/45 人小样本、MAE 单指标、预印本未同行评议——把本文当”路线假设的实验证据”,不当定论;若要在自有数据上验证,最小复现是 rPPG-Toolbox 里的 TS-CAN + POS 伪标签,对照金标准监督,一个下午的算力成本。

参考

1. Acharya, Hammer, Drimalla. Beyond Contact Sensors: Deep learning with Pseudo-Labeling for remote Photoplethysmography. arXiv:2609.10026, 2026, https://arxiv.org/abs/2609.10026(全文 HTML 已读)
2. Acharya, Saakyan, Hammer, Drimalla. The reliability of remote photoplethysmography under low illumination and elevated heart rates. npj Digital Medicine 8:744, 2025, https://doi.org/10.1038/s41746-025-02192-y(全文已读)
3. Li et al. StreamPPG: Low-Latency rPPG Estimation via Consistent Privileged Learning. arXiv:2606.23186, 2026, https://arxiv.org/abs/2606.23186(abs 页核证;全文数字经本站精读文两遍通读)
4. Liu et al. EfficientPhys: Enabling Simple, Fast and Accurate Camera-Based Vitals Measurement. arXiv:2110.04447, 2021, https://arxiv.org/abs/2110.04447(abs 页已读)
5. Wang, den Brinker, Stuijk, de Haan. Algorithmic Principles of Remote PPG. IEEE TBME 64(7):1479–1491, 2017, DOI 10.1109/TBME.2016.2609282(据 2609.10026 引述,未读原文)
6. Stricker, Müller, Gross. Non-contact video-based pulse rate measurement on a mobile service robot. IEEE RO-MAN 2014, DOI 10.1109/ROMAN.2014.6926392(据 2609.10026 引述,未读原文)
7. Liu et al. rPPG-Toolbox: Deep Remote PPG Toolbox. NeurIPS 2023, https://github.com/ubicomplab/rPPG-Toolbox(据 2609.10026 引述)