rPPG 波形形态极限精读:16 种架构、153 名被试无一逃出 Template Collapse——消费级摄像头在物理层就还原不了个体脉搏形态,该承诺的只有心率与时间比特征

rPPG 文献里最好看的一类结果正在大面积失真:摄像头重建脉搏波,per-subject 相关系数 0.87、0.99,看起来”波形形态都还原出来了”。arXiv 2606.03802(2026-06-02 提交,单作者,未挂会议/期刊)用一组设计得非常刁钻的审计把这件事拆穿了——16 种架构、6 个模型家族、153 名被试,没有任何一个模型还原出个体特异的脉搏形态;所有模型输出都塌缩到了同一个群体级模板,作者把这个失效模式命名为 Template Collapse(Template Collapse and Information-Theoretic Limits in Camera rPPG Pulse Morphology Restoration,Ben Ahmed,2026,arXiv:2606.03802)。判断依据不是”效果不好”,而是一个新的评估指标:cross-subject Pearson r。模型输出的被试间相似度(0.773–0.9999)全部高于真值本身的天花板(0.601)——输出比真值彼此更相似,这在逻辑上只有一种解释:模型在生成公共模板,不是在重建个体信号。

这对我们 IMS 团队意味着什么:凡是”摄像头测血压””血管年龄””动脉弹性”这类舱内健康功能,其物理前提是单周期波形形态可还原,而这篇论文证明这个前提在消费级 RGB 摄像头链路上不成立——不是算法不行,是信号里没有那个信息。反过来说,它也划清了能承诺的边界:心率、间期、ROI 间传播延迟、收缩期上升时长这些时间比特征,以及群体级谐波含量,在测量链里幸存;FDA QME 通道清关的都是前者。本文是站内 rPPG 系列的第四篇(信息极限端),与前三篇(训练端、验收端、准入门)拼出完整决策链。

信源声明:本文全部数字出自 arXiv 2606.03802 全文 HTML(arXiv abs 页 + 全文两次通读,共三遍,数字逐条对照原文);动脉僵硬度临床锚点经 PubMed 记录核对(Karimpour 等,Sensors 2023 综述,读到 PubMed 检索摘要级,H2/H1 具体表述按 2606.03802 转述并标注);Wu/Sun 等对比数字为 2606.03802 引述,未读原文,文中标注”据其引述”。该论文单作者、未挂 venue,结论按”待同行评议的预印本”对待,但其核心诊断方法(cross-subject r + 幻觉审计)不依赖结论方向,可直接复用。

背景:形态学承诺从哪来,又是谁在兑现不了

动脉僵硬度和高血压、心血管事件风险的关系是临床定论(PWV 与 AIx 是金标准指标;Kim, Clinical Hypertension 2023,据 2606.03802 引述)。PPG 波形的形态学指标——二次谐波与基波幅度比(H2/H1)、拐点面积等——在 64 项研究的系统综述中被认为是有希望的无创僵硬度的替代指标(Karimpour, May, Kyriacou,Sensors 23(24):9882,2023,DOI 10.3390/s23249882;本文读到 PubMed 摘要级)。逻辑链很诱人:如果摄像头 rPPG 能还原单周期形态,那么”舱内血管健康趋势提示”就只需要一个已经装好的 DMS 摄像头。

问题在于,已有文献里”还原成功”的证据全部是 per-subject 相关系数:Sun 等面部视频 r=0.870、GAN Palm 掌纹视频 r=0.987(据 2606.03802 转述;Sun 等,IEEE IJCB 2024,arXiv:2407.04127;Li & Liu,Sensors 26(2):563,2026)。per-subject r 高不等于个体形态被还原——如果所有被试的预测都收敛到同一条群体平均波形,而这条模板与每条真值的相关性天然就有 0.77,那 per-subject r=0.90 完全可能”零个体信息”地达到。这正是 2606.03802 要拆的楼:它不是做了一篇”更好的重建论文”,而是给整个波形重建基准线立了一个必需的诊断指标。

核心机制:测量链、cross-subject r 与 0.601 天花板

flowchart LR
    A[摄像头视频<br>面部 ROI] --> B[CHROM 提取<br>3.0s 滑窗 / 1 帧步进<br>0.5-8 Hz 带通]
    B --> C[周期对齐<br>与接触 PPG 互相关 ±5s]
    C --> D[256 点/周期重采样<br>保留最干净 25% 周期]
    D --> E[CameraEncoder<br>16 架构 / 6 家族]
    F[接触 PPG 500-1000 Hz<br>Polymate,105 名训练被试] --> G[Stage 1: VAE 形态先验]
    G --> H[冻结 decoder]
    E --> I[融合输出<br>单周期波形]
    H --> I
    I --> J[cross-subject r<br>+ 幻觉审计 + 谐波分析]

cross-subject r 的定义与用法是全文最值得搬走的发明。对 27 名测试被试,先取每名被试的”平均预测波形”(ŵᵢ),再对这 N 条平均波形做两两 Pearson 相关、取平均:

r_cross = (2 / N(N−1)) · Σ_{i<j} ρ(ŵᵢ, ŵⱼ)

越低越好,完全塌缩(每名被试输出同一条波形)时 r_cross = 1.0。关键参照系是拿同一公式去算 ground truth:27 名测试被试的接触 PPG 真值平均波形,彼此相关 r_cross = 0.601(bootstrap 95% CI [0.502, 0.763],1000 次迭代)。这就是天花板:个体形态哪怕全部保留,输出相似度也不会低于 0.601;而任何高于 0.601 下界的输出,意味着模型输出”抹平了真值里存在的人与人差异”。全部 16 种架构落在 0.773–0.9999——全部高于真值天花板。

数据与协议(Table I,被试严格不相交):

两阶段设计堵死了”先验太穷”的借口:Stage 1 的 VAE 形态先验只用 500–1000 Hz 接触 PPG(105 名训练被试)训练——这个采样率足以完整解析重搏切迹、收缩时序与谐波结构——然后冻结 decoder,只训练摄像头侧编码器。如果输出仍然塌缩,失败只能出在摄像头信号侧,不能赖先验。16 种架构按家族分:重建类 7(VAE-Base/Orth/Large/Flow、VQ-VAE、两个 Transformer)、仅摄像头类 3(RGB-Window/Physics/FPS)、抗塌缩目标 1(Two-Stage+Div)、扩散类 2、信号分解类 2(VMD)、对比探针 6 个 SupCon 变体。

实验与证据:四条独立证据链收敛到同一个零结果

主结果:per-subject 越高,塌缩越狠

注意 VAE-Base 的位置:它的 cross-subject r 离天花板最近,但 per-subject r(+0.652)连”无脑输出群体均值”的 0.770 都不到——越是诚实地贴近天花板,per-subject 指标越难看。这组对照把”per-subject r 高 = 还原了个体形态”的推理彻底判了死刑。

信息论零结果:SupCon 收敛到 log(127)

六个 SupCon(监督对比)变体——跨越输出/隐层对比空间、预训练/随机初始化、λ_c ∈ {1.0, 20.0}——损失函数全部收敛到 log(127) = 4.844,即 N 个样本均匀分布在对比空间的熵上界。含义:编码器无法在单周期 rPPG 上找到任何判别性的形态结构来区分样本,我(rPPG; 个体形态) ≈ 0。作者称之为”被测编码器家族中单周期 rPPG 不存在判别性形态结构的最强实证证据”。当输入本身不携带信息时,塌缩不是训练病态,而是训练良好的模型的正确行为。

幻觉审计:模型读的是”幅度分布”,不是波形

把 VAE-Orth 的输入换掉,看输出变不变:真实 rPPG 输入 per-subject r = +0.7183;时间打乱的 rPPG 输入 r = +0.7178,几乎不变;白噪声输入 r = +0.541。真实输入只在 27 名被试中的 18 名上赢过白噪声,Mann-Whitney U 检验 p = 0.150,不显著——“方向性但不定论”的部分信号读取。结论:输出由输入的幅度统计决定,时序结构(恰恰是形态学所在的地方)对输出几乎无贡献。这个审计协议本身就是给所有”波形重建”论文准备的照妖镜,任何团队都可以直接复制。

谐波恢复与零样本泛化:群体先验是真的,个体信息是假的

decoder 把输入里被毛细血管测量压掉的谐波”补”了回来(H2/H1 0.275→0.310),并在未见过的 UBFC 硬件(CMS50E 64 Hz)上零样本泛化:16 名被试 r = +0.708(σ=0.107,范围 0.514–0.877,全部为正)。但被试间 σ 只有 0.022,远小于真值的 0.122——补出来的是群体级谐波内容,不是个体值。部分架构甚至过冲真值(VAE-Orth 0.605、VAE-Large 0.535、VQ-VAE 0.529,GT 0.471):decoder 在无差别地强加先验,输入是什么都拦不住。

与已有工作的关系:不是谁错了,是”未申报”

论文的措辞很克制:”我们的结果不与 Sun 等矛盾,而是划定其结果无法外推的区域”——重建任务需要完整波形与足够 SNR,分类/认证任务只需要某种一致的差异。Sun 等的生物识别(EER 2.16%,据引述)走的是后者,不受本零结果影响。真正的启示是:此后任何波形重建论文不报 cross-subject r,”个体还原”声明一律视为未验证。

能还的是什么:三类幸存特征

1)心率与时间比特征。 HR、心跳间期、ROI 间传播延迟、收缩期上升时长在测量链里幸存——这就是为什么无袖带血压(Wu 等,IEEE JBHI 2024,舒张压 RMSE 7.32 mmHg,据引述)和生物识别仍能成立:它们用的是时间量,不是单周期形态量。这与站内临床转化文核实的 FDA QME 清关边界(脉率/呼吸率清关,HRV/表情 wellness-only)在第三条独立证据链上收敛。

2)群体级谐波含量。 H2/H1 从 0.275 补到 0.310 且跨硬件泛化,说明”人群平均意义上的形态先验”是可传输的资产。

3)幅度级部分信号读取。 幻觉审计 p=0.150 的方向性证据,弱,不能作为承诺依据。

还不了的:重搏切迹。 它发生在 50–100 ms 内,30 fps 下只有 1–3 个采样点,处于时间分辨率与 SNR 的联合下限;编码动脉壁刚度的血管壁位移,比摄像头检测的毛细血管吸收变化小几个数量级。作者给的硬件出路:多波长/近红外(~850 nm)采集、浅表动脉定位(颈部血管、1–2 mm 深的颞动脉)、多部位脉搏波传导时间——“算法进步无法克服基本测量约束”。

作者自己声明的限制也要如实转述:AC/DC 相对接触 PPG 的 SNR 缺口未直接量化;”信息在皮肤上就不存在”还是”存在但低于可提取 SNR”两种情况物理上不同、本文未分辨;针对已知浅表动脉的非接触重建未测;UBFC-PHYS 的 T1/T2/T3 任务状态是未控制混杂。

对 IMS 团队的启示

1. 评估协议先改,再谈模型。 舱内任何 rPPG 波形类功能的验收文档,把 cross-subject r 列为强制指标:先在自己数据上算真值天花板(做法照抄:每被试平均真值波形两两相关),再把供应商/自研模型的输出相似度对标它。高于天花板的,无论 per-subject 多少分,一律判”未还原个体信息”。
2. 承诺等级表直接落地。 结合三篇前文的证据链:心率/呼吸率(时间特征)可承诺且有 QME 清关先例;HRV 谨慎条件承诺;单周期形态、血压形态、血管年龄、动脉弹性——消费级 RGB 链路上禁止对外承诺,除非更换硬件路线。HMI 文案与 Dossier 声明按此分界写。
3. 供应商审问清单加两刀。 任何”摄像头测血压/血管弹性”的 Demo:①要 cross-subject r,没有就现场抽验;②跑幻觉审计(白噪声 + 时间打乱输入对照),输出对时序不敏感的,形态学声明即假。
4. 硬件路线图按这个排序。 若形态学指标真要做:近红外多波长 > 浅表动脉定位光学 > 多部位 PTT。RGB 单通道算法侧的投入(更大模型、更好损失)在这条线上边际收益≈0——SupCon 收敛到 log N 已经把这条路封死了。
5. 负结果也是资产。 群体先验 decoder(跨硬件泛化 r=+0.708)对”异常提示”类功能有用:个体基线偏移检测不需要还原绝对形态,只需要知道”当前周期偏离他自己历史分布多少”——但要小心,本文证明恰恰是”他自己”的信息读不出来,这个功能的统计学前提需要在自家数据上单独验证,不能想当然。

路线判断

我认为 2027 年底前不会有任何基于消费级 RGB 舱内摄像头的”个体形态学级”血压/血管健康产品拿到医疗准入:物理层论证(SupCon 零结果 + 天花板对照)、监管边界(QME 只清关脉率/呼吸率)、临床转化现状(151 篇里 3 篇碰临床)三条证据链互相独立且指向一致。舱内健康功能的正确姿势是把钱花在时间特征链路的工程化(压缩链路保全、曝光控制、信号质量门限——对应PixExpo 文与临床转化文的锚点),形态学指标留给硬件换代后再立项。

开放问题两个:①”皮肤上无信息”与”低于 SNR”的分辨,需要针对浅表动脉的定位光学实验,这类实验性价比对座舱场景是否成立存疑;②本文是单作者预印本、含自建数据集(不可复现),cross-subject r 指标本身的价值高于结论,建议社区在多数据集上重复——如果 UBFC-only 的公开复现能做出同样塌缩,这个指标该进下一版 rPPG 基准标准。

参考

1. Ben Ahmed, A., “Template Collapse and Information-Theoretic Limits in Camera rPPG Pulse Morphology Restoration,” arXiv:2606.03802, 2026. https://arxiv.org/abs/2606.03802 (全文 HTML:https://arxiv.org/html/2606.03802v1)
2. Karimpour, P., May, J. M., Kyriacou, P. A., “Photoplethysmography for the Assessment of Arterial Stiffness,” Sensors 23(24):9882, 2023. DOI 10.3390/s23249882(PMID 38139728,本文读到 PubMed 摘要级)
3. Kim, H., “Arterial stiffness and hypertension,” Clinical Hypertension 29:31, 2023. DOI 10.1186/s40885-023-00258-1(据 2606.03802 引述)
4. Sun, Z. et al., “Biometric authentication via hybrid cPPG–rPPG training,” IEEE IJCB 2024, arXiv:2407.04127(据 2606.03802 引述)
5. Han, X. et al., “Preserving shape details of pulse signals for video-based blood pressure estimation,” Biomedical Optics Express 15(4):2433–2450, 2024. DOI 10.1364/BOE.516388(据 2606.03802 引述)
6. Li, T., Liu, Y., “High-fidelity rPPG waveform reconstruction from palm videos using GANs,” Sensors 26(2):563, 2026. DOI 10.3390/s26020563(据 2606.03802 引述)
7. Wu, B. F. et al., “Contactless blood pressure measurement via remote photoplethysmography with synthetic data generation using GANs,” IEEE JBHI 28(2):621–632, 2024. DOI 10.1109/TBHI.2023.3265857(据 2606.03802 引述)
8. 站内:rPPG 临床转化路线图精读(FDA QME 证据链)。/blog-posts/2026-10-23-rppg-clinical-translation-roadmap-fda-qme-2026.md
9. 站内:rPPG 生理有效性综述精读(该承诺什么)。/blog-posts/2026-10-23-rppg-stress-workload-physiological-validity-prisma-scr-2026.md
10. 站内:FLOW 域泛化精读(训练端)。/blog-posts/2026-10-23-flow-optimal-transport-domain-generalized-rppg-2026.md