FLOW 精读:最优传输把跨域 rPPG 平均 MAE 从 11.04 拉到 6.84 bpm,合读同组 PhysAgent——rPPG 鲁棒性正在形成”采集-训练-推理”三线分工

车内 rPPG 要量产,卡住它的从来不是”实验室里测不准”,而是换一台车、换一批人、换一种光照就测不准——即域偏移(domain shift)。训练数据来自 A 车型的红外摄像头 + 实验室光照,部署时是 B 车型的 RGB 摄像头 + 正午侧窗阳光,心率误差立刻翻倍。针对这个问题,大湾区大学 Bo Zhao、Junzhe Cao(共同一作)与合工大、南科大、澳门理工团队(Zitong Yu 通讯,arXiv:2609.38913,2026-09-30 提交)提出了 FLOW:在训练阶段用最优传输(Optimal Transport, OT)把多个源域的时序特征对齐到一组可学习”生理原型”上,让端到端 rPPG 模型在完全没见过目标域的情况下保持精度。四个跨域基准上平均 MAE 6.84 bpm,比不做对齐的基线(11.04)和主流 DG 方法 CORAL(9.97)、MMD(9.35)都低,而且整套模块即插即用、推理时不增加任何预处理。

这篇论文对我们 IMS 团队的价值,不止是”又一篇 rPPG SOTA”。把它和站内昨天精读的 PixExpo(采集端像素级曝光控制,arXiv:2609.36607)、以及同合作网络的 PhysAgent(推理端多智能体仲裁,arXiv:2608.00066)放在一起看,会发现 rPPG 鲁棒性这个问题正在被同一个合作网络从采集、训练、推理三个层面分别给出工程答案——而且三篇的作者列表里有共同的名字(Wenjin Wang 在 FLOW 和 PixExpo 中都出现,Bo Zhao/Junzhe Cao/Wenjin Wang/Zitong Yu 同时出现在 FLOW 和 PhysAgent 中)。这不是巧合:这说明”rPPG 上车”已经从单点论文演进为有分工的技术路线族,选型时应该按”我卡在哪一层”来对症下药,而不是笼统地问”哪篇论文精度最高”。

本文为 A 型(论文深读型)。FLOW 全部数字出自 arXiv:2609.38913 全文 HTML(已分两段完整精读,含附录理论部分);PixExpo 数字出自其摘要页(已读,站内另有全文精读文,见参考);PhysAgent 出自其摘要页(已读,摘要未给具体数字,本文不做转引)。站内关联:PixExpo 采集端曝光控制精读、TPA-Flow 张量注意力 rPPG、MS-rPPG 多光谱硬件路线、车内多模态心跳检测(Nature)、TUM×BMW 方差分解:跨驾驶员泛化瓶颈。

背景:域偏移为什么是 rPPG 的”上车第一杀手”

rPPG 的原理是从面部视频里提取血液容积引起的反射光微变,信号幅度远小于噪声,所以模型对成像条件极其敏感。作者在引言里给出的证据很直白:传统信号处理方法 CHROM 在 BUAA-MIHR 数据集上 MAE 6.09 bpm,换到光照/运动更复杂的 MMPD 上立刻恶化到 13.66 bpm——同一套算法,换个域,误差翻倍还多。深度端到端模型(DeepPhys、PhysNet、PhysFormer、EfficientPhys、RhythmFormer 等)在单域内精度更高,但跨域时同样掉点,而给每个目标域都重新标注数据在车上不现实。

作者把现有应对归为几类,并指出各自的局限:

作者的定位声明是:首个把 OT 对齐用于端到端 rPPG 多源域泛化的工作,并且附带理论保证(条件 OT 差异下的多源泛化界)。这句话里”多源”和”端到端”两个限定词是关键——它不做无监督域适应(不碰目标域数据),也不改模型结构,是在训练阶段加一套对齐机制。

核心机制:TRM 稳时序 + PCOT 原型传输

FLOW 的框架可以概括为”先稳、再对齐、三个正则防跑偏”:

flowchart LR
    A[多源域驾驶舱/实验室视频] --> B[共享 Backbone<br>端到端 rPPG 模型]
    B --> C[TRM 时序精炼模块<br>空间池化 + 深度可分离1D卷积]
    C --> D[PCOT 原型跨时序最优传输<br>K=64 可学习生理原型]
    D --> E[重心投影对齐特征]
    E --> F[心率回归头]
    D -. Sinkhorn 求解传输计划 .-> G[L_OT 传输损失<br>去偏 Sinkhorn 散度]
    D -. 原型指派直方图 .-> H[L_sc 源一致性]
    E -. 原特征对齐特征 L2 .-> I[L_id 身份保持]
    F --> J[L_task 心率任务损失]
    G & H & I & J --> K[L_total 加权求和<br>反向传播更新 Backbone+原型库]

TRM:把任意形状特征变成”低通滤波过的”时序序列

端到端 rPPG 模型的中间特征形状各异(2D backbone 给 B×C×H×W,3D 给 B×C×T×H×W),TRM 先做空间全局池化统一成 B×T×C 的时序序列,再过若干层深度可分离 1D 卷积块(深度卷积做时域滤波、逐点卷积做通道融合,GELU 激活,残差+归一化),复杂度只有 O(BTCk)。作者的定性描述是”概念上的低通时域滤波器”,作用是抑制噪声、统一不同域的时序动态——这解决了 OT 对齐的一个前置问题:如果两个域的时序特征一个抖一个稳,直接对齐会把噪声也对进去。

PCOT:用”生理原型库”做跨时序最优传输

PCOT 是全文核心。它维护 K 个可学习的原型(prototype),每个原型自带一个”生理锚点”心率值。对每个时序帧特征 x_t,传输代价由两项构成:

• 特征距离:‖W(x_t − p_k)‖²₂,其中 W 是可学习的对角加权矩阵(哪些特征维度该参与对齐,让模型自己学);
• 心率一致性:λ_hr·(1 − exp[−(h_t − h_k)²/(2σ²)]),h_t 来自辅助心率头,h_k 是原型锚点心率——心率相近的帧才应该被传输到同一个原型,这把生理节奏先验写进了对齐目标。

在此代价下求解熵正则 OT 问题(Sinkhorn 归一化),得到传输计划 π*,再用重心投影(barycentric projection,x̃_t = Σₖ πₜ,ₖ pₖ)得到对齐后的特征。对齐损失用的是*去偏 Sinkhorn 散度(S_ε(μ,ν) − ½S_ε(μ,μ) − ½S_ε(ν,ν)),避免熵正则带来的偏置。

两个细节值得工程上注意。其一,训练和推理的代价函数不同:训练时心率真值可得,代价里带心率一致性项;推理时没有真值,代价退化为纯特征距离(Algorithm 2),整个流程”不需要域标签、不需要额外预处理”。其二,还有两个正则损失:L_sc(源一致性)约束 M 个源域的平均原型指派直方图方差——防止不同源域各自霸占不同原型、对齐形同虚设;L_id(身份保持)约束对齐前后特征的 L2 距离——防止”为了对齐而抹掉个体信息”。总损失 L_total = L_task + λ_OT·L_OT + λ_src·L_src + λ_id·L_id。

理论保证:一页附录的”条件 OT 泛化界”

附录 C 给出了泛化界:在条件风险函数对代价度量 L_c-Lipschitz 的假设下,目标域风险 ≤ 各源域风险加权和 + L_c×(源域到重心的传输距离 + 重心到目标域的传输距离) + 熵近似误差 + 身份失真 + 估计误差(Theorem 1)。Theorem 2 进一步证明,在特征有界、权重算子范数有界等温和条件下,这个界比欧氏 Wasserstein-1 版本严格更紧(当 2rκ < 1 时),而该条件”可以通过特征归一化和正则化在实践中鼓励”。

一个诚实的细节:作者自己承认其中”两跳重心不等式”(Lemma 4)是一个”方便的充分形式”,严格推导需要重心凸性论证,而他们”为篇幅省略了常规细节”。也就是说,理论部分是框架性保证而非严格证明——这不影响工程价值,但读的时候不要把”Theorem 1”当成已完全证毕的定理。

实验与证据:数字全部出自原文

实验设置(附录 B):基于 rPPG-Toolbox,基线模型为 PhysLLM;128 帧切片、128×128 分辨率、α=0.8、l_target=32;Adam,lr 1×10⁻⁴,weight decay 5×10⁻⁵,20 epochs,NVIDIA H100,batch size 4。数据集四个:UBFC-rPPG(42 人,640×480,30 fps)、PURE(60 段视频,10 人)、BUAA-MIHR(使用光照 ≥10 lux 的子集)、MMPD(660 段一分钟视频,33 人,320×240)。

多源域泛化主结果(Table 1,四源域训练 → 各目标域测试):

分数据集看:BUAA-MIHR 上 MAE 2.23 / R 0.97(对比 MMD 的 2.80 / 0.95);MMPD 上 MAE 7.38 / R 0.51——MMPD(运动+光照最复杂)仍然是所有方法的硬骨头,R 只有 0.51 说明跨域相关性的天花板还没摸到。

有限源域(Tables 2–3):源域减少时,FLOW 在 MMPD 上平均 MAE 8.65;BUAA-MIHR 的 P+M(PURE+MMPD 双源)设置下 MAE 2.56 / R 0.98——源域越少退化越大,但双源已能逼近四源效果。

消融(Tables 5–6,完整版 BUAA 2.23 / MMPD 7.38):

去掉 PCOT 的伤害远大于去掉 TRM——对齐是主要矛盾,时序精炼是前置条件。三个损失叠加才最优,缺一不可。

结构超参(Figure 3):原型数 K=64 最优(MAE 2.23),继续加大因”原型分布过度碎片化”反而变差;TRM 对齐层数 3 层最优。此外 Figure 2 显示 FLOW 接入 RhythmFormer、EfficientPhys、PhysFormer、PhysNet 四种 backbone 后各跨域设置 MAE 均有下降——即插即用声明在四个架构上成立(论文以图示呈现,未在此图给出逐项数值表)。

与已有方案的关系:四条路线的分工格局

把 FLOW 放进站内已跟踪的 rPPG 鲁棒性路线版图,格局是这样的:

四条路线不互斥,而是分层互补:FLOW 不改变部署时算力(对齐只在训练期);PixExpo 不改变模型(对任何下游算法透明,跨数据集对四个深度模型 MAE 相对改善 22.8–53.9%,见站内精读文);PhysAgent 则用推理时冗余换可靠性,代价是算力。一个务实的量产组合可能是:采集端 PixExpo 式曝光调度兜住物理下限 → 训练端 FLOW 式域对齐压平跨域落差 → 推理端 SQI/仲裁做异常拦截。三层各自独立生效,这正是”分工”的含义。

值得一提的谱系事实:FLOW 与 PixExpo 共享作者 Wenjin Wang,FLOW 与 PhysAgent 共享 Bo Zhao、Junzhe Cao、Wenjin Wang、Zitong Yu——采集端与算法端两条论文来自同一个合作网络,侧面说明这个网络自己就在”分层推进”,而不是各写各的。

对 IMS 团队的启示:五条可执行项

1. 跨域验收指标先于模型选型。FLOW 的主表告诉我们:同一个模型,域偏移可以让 MAE 从 2 出头涨到 7-8 bpm。供应商演示时用训练域数据跑出的 2 bpm 没有意义——要求对方出示”四源域训练、未见目标域”口径的跨域数字,并明确源域清单(什么摄像头、什么光照、什么人群)。
2. CORAL/MMD 类”廉价对齐”是第一步,不是终点。在现有训练管线里加 CORAL 或 MMD 几乎零成本,MAE 就能从 11.04 降到 9.35–9.97;FLOW 再往下压 2.5 bpm。如果团队连 CORAL 都没上,先上它,再评估是否需要 OT 级别的对齐。
3. 把”心率一致性”写进对齐目标。FLOW 最重要的方法论启示不是 OT 本身,而是:对齐的代价函数里编码了生理先验(心率相近的帧才对齐到同一原型)。我们做任何跨域/跨车型迁移时,都可以问一句——我的对齐目标里有没有生理/任务先验,还是只做了裸的特征统计对齐?
4. 训练-推理不对称要在算力预算里显式体现。FLOW 推理时只多了一次”特征→原型”的重心投影,几乎免费;PhysAgent 的多模型仲裁则实打实吃推理算力(4B MLLM)。两者解决的是不同层的问题,选型时别混——先用训练端手段把分布差压平,压不平的尾部再用推理端仲裁兜底,顺序反了就是拿推理算力训练分布差的账。
5. 与采集端改善是乘法关系,不是替代关系。PixExpo 证明了采集端失效对”四个深度模型一视同仁”;FLOW 证明了算法端对齐能在采集端不变的前提下压平跨域落差。两条改善叠加才有机会把真实驾驶场景(如 MEX-Drive 那种阳光直射)下的 rPPG 推过量产线——单独任何一条,离 ±5 bpm 稳定可用都还有距离。

路线判断

我认为 rPPG 上车的主矛盾正在从”单点精度”转向”跨域稳定性证据链”,且会按三层分工收敛:采集端管物理下限(曝光/光谱),训练端管分布差(域泛化),推理端管可信度(质量评估/仲裁)。FLOW 补上的正是中间一层——此前这一层只有 CORAL/MMD 这类”借来的”工具,现在有了专为时序回归设计的理论框架和即插即用实现。留给车规落地的两个开放问题:其一,MMPD 上 R 0.51 说明极端运动域仍未解决,FLOW 的原型对齐对”呼吸引起的整体运动”这类非平稳干扰的效果论文未单独分析;其二,FLOW 的多源训练要求源域本身多样,而车企手里的数据域往往高度同质(同一车型同一批标定车)——“源域多样性”本身可能比对齐算法更稀缺,这一点与站内 TUM×BMW 方差分解文的结论(跨被试泛化是主要瓶颈)在跨域维度上互相印证。

参考

1. Zhao, B., Cao, J., Guo, D., et al. FLOW: Feature-Level Optimal Warping for Generalized Remote Physiological Measurement. arXiv:2609.38913, 2026-09-30. https://arxiv.org/abs/2609.38913(全文 HTML 已精读)
2. Wang, J., Cai, X., Shan, C., Wang, W. Pixel-wise Exposure for Highly Robust In-Vehicle Remote-PPG. arXiv:2609.36607, 2026-09-29. https://arxiv.org/abs/2609.36607(摘要页已读;全文精读见站内 PixExpo 精读文)
3. Yang, Y., Zhao, B., Cao, J., et al. PhysAgent: A Multi-Agent Framework for Reliable Remote Heart Rate Estimation. arXiv:2608.00066, 2026-07-29. https://arxiv.org/abs/2608.00066(摘要页已读)
4. 站内关联:TPA-Flow 精读 / MS-rPPG 多光谱 / 车内多模态心跳检测 / 跨驾驶员方差分解