PhysAgent 精读:4B MLLM 仲裁 rPPG 多模型分歧,推理端融合的工程账第一次算清——以及哪些部分今天就能上车

10 月 23 日站内 FLOW 精读把 PhysAgent(arXiv:2608.00066,2026-07-29 提交)列为 rPPG 鲁棒性”采集-训练-推理”三线分工里的推理端代表,但当时只有摘要页可读、全文未给任何数字,文中明确留了”摘要未给具体数字,本文不做转引”的占位。现在全文 HTML 已放出:这是一个不训练任何新模型、纯推理时运行的多智能体候选验证框架——用本地部署的 Qwen3-VL-4B 驱动三个 agent 加一个裁决者(Judge),对多个 rPPG 估计器给出的”相互矛盾但各自都像对的”心率候选做仲裁,再经一个确定性验证器把关、走可复现的数值融合。域内四基准平均 MAE 3.60 bpm(R 0.89),跨域 leave-one-out 平均 4.83 bpm(R 0.79),两个数字都同时压过最强单模型和五种经典融合基线。

这对读者意味着什么:rPPG 供应商演示时最常见的话术是”我们有多个模型交叉验证,更可靠”——PhysAgent 是第一篇把这句话拆开算账的工作:它给出了”多模型分歧时该信谁”的完整机制(哪个 agent 起作用、消融各掉多少点、什么情况下加了模型反而更差),也给出了这套机制的算力账(单样本串行 12.6 秒、4090 级算力)和失效账(正确答案被多数派压制的真实案例)。结论先行:这套框架里约一半的价值(聚类、谐波检验、SQI 条件化加权)是纯确定性代码,不需要 MLLM 就能上车;MLLM 仲裁层今天只适合云端或离线阶段,不适合舱内实时链路。下面逐层拆。

背景:多模型分歧为什么不能”平均了事”

单估计器 rPPG 的脆弱性站内已有多篇佐证(域偏移、伪标签边界、模板塌缩),PhysAgent 的出发点更具体:当你真的跑了 K 个强估计器,它们对同一段视频给出的不是”一个准一个错”,而是**”相互不一致但各自都合理”的候选**——误差由训练域、架构、运动、光照、遮挡、信号质量共同塑造。论文对朴素融合的批评是两点(全文引论):直接平均可能”混合不相容的心率假设”,固定权重融合”无法让候选可信度适应当前视频”。

以前的做法分两类:学习型融合(Ridge Stacking 学全局线性组合、Local Competence 用 k-NN 能力区域)在同一候选池上并不稳定地超过最强单模型(下表实测);MLLM 直接预测心率则被论文批评为不可复现且无生理约束。PhysAgent 的折中是:MLLM 不输出心率,只输出”验证与融合提案”;心率由确定性代码算出——这个分工是全文最值得记住的设计决定。论文给出的正面案例:两个候选 87.89 与 91.41 bpm 被按 0.389/0.611 的权重融合成 90.04 bpm;反面警示则见下文 Case F(正确候选被多数派压制)。

核心机制:三个 agent、一个裁决者、一套确定性证据、一道验证闸

整条流水线分五步,MLLM 只出现在中间三步,首尾都是确定性代码:

flowchart LR
    A[K 个基础估计器<br/>候选 h_i/波形/质量特征 φ_i] --> B[Scene Agent<br/>采样帧→场景标签 z]
    A --> C[Quality Agent<br/>纯文本→逐候选信任度 τ_i]
    B & C --> D[Debate Agent<br/>一致/冲突/高信任离群]
    E[确定性证据<br/>心率聚类 G + 谐波关系 H] --> F[Judge Agent<br/>融合提案 π/S/w/e]
    D --> F
    F --> G&#123;PCHV 验证闸<br/>可执行/单聚类/谐波检查&#125;
    G -->|通过| H[确定性加权融合<br/>+ 完整审计轨迹]
    G -->|不通过| I[修复到最强聚类 G*<br/>或回退确定性选择]
    I --> H

各 agent 的输入输出与论文设计要点:

质量特征向量为 φ_i=SNR̂_i, P_i, 1−H_i, 1−M_i, R_i,另有一个门控 g = s_MLLM·d_cand·(1−max_i q_i) 决定”多信 MLLM 判断、多信场景先验 v_i”。注意一个对部署很重要的细节:融合权重 w_i 只在验证后的聚类内部用 τ_i,聚类本身的选择不依赖 MLLM 的随机输出*——这是它敢声称”数值过程可复现”的结构原因。

实验与证据:四组主表 + 一组消融

候选池:域内用 RhythmFormer、PhysMamba、FactorizePhys(源域训练);跨域用 PhysFormer、EfficientPhys、RhythmFormer。所有输出对齐到 128 帧/30 fps 网格;测试块数 UBFC 177、PURE 95、BUAA-MIHR 336、MMPD 1195。

域内(Table 1,MAE/RMSE bpm,括号 Pearson R):

(论文正文对基线行未逐项给出四库分列数字,仅给平均;此处按原文平均列照录。)

跨域 leave-one-out(Table 2):→UBFC 1.71/3.09 (0.98)、→PURE 4.90/12.79 (0.84)、→BUAA 2.48/3.02 (0.98)、→MMPD 10.23/16.13 (0.34),平均 4.83/8.76 (0.79)——同一设置下最强单模型 PhysNet 平均 6.96/13.50 (0.64),最强融合基线 SQI Weighting 10.74/16.72 (0.62)。MMPD(33 名被试、11 小时手机拍摄、8 个描述性标签覆盖肤色/运动/光照多样性,Tang et al., arXiv:2302.03840)是所有设置下的硬骨头,跨域 R 只有 0.34,论文没有回避这个数字。

少源域设置(Table 3/4):两个源域→MMPD 平均 10.99/16.64 (0.34),仍显著好于最强单模型 PHASE-Net 的 12.80/18.12 (0.18);两个源域→BUAA 平均 2.91/4.15 (0.93),几乎追平域内水平。跨域收益主要落在”中等难度”目标域上,MMPD 这类极端域仲裁也救不动。

消融(Table 5,相对完整模型的劣化):

三个 agent、Judge 加验证闸没有一个是多余的,但注意结构:MLLM Judge 对域内精度贡献最大(去掉后 MAE +62.2%),Debate Agent 对跨域贡献最大(+70.0%)——域内是”精修”,跨域是”要不要采纳某个候选”的判断问题。

成本(论文附录 B.6,自标”理论估算”):Qwen3-VL-4B 单卡 RTX 4090,平均每样本 18.45K token、串行墙钟 12.589 秒;按八路并发摊薄约 1.574 秒,按 RMB 0.8/小时租用价折算约 RMB 0.00035/样本。论文诚实注明实际成本会因调度、批处理、重试而更高。

诚实的边界:论文自己承认的四个失效模式

这一节是给做验收的人看的,论文的 limitation 一节比多数同类工作坦白。

1. 加模型可能更差(候选池敏感性):相对三模型 R+M+F 池,两模型池 MAE +23.7%(R −8.8%),四模型 +2.1%(−2.3%),五模型 +7.3%(−5.4%)。结论原话大意是候选互补性比数量重要——“多模型冗余=更可靠”这个直觉在 rPPG 上不成立,池子要按互补性设计,且换池子要重验。
2. 仲裁不保证正确(Case F):一个真实失败案例里,正确答案 111.62 bpm 的孤立候选被 86.13 bpm 的多数派聚类压制,框架选了多数派。PCHV 保证的是”可执行、可审计、结构与生理一致”,原文明说”cannot guarantee that the selected cluster is correct”。这与站内 rPPG Template Collapse 信息极限文的结论在工程上汇合:当候选本身系统性相关地出错时,任何仲裁器(无论多智能体还是加权)都无法无中生有正确信号。
3. MLLM 随机性:同一提案跨种子仅 82.3%、验证器动作 83.1% 一致;但最终心率一致率 96.5%,样本级标准差 0.34 bpm——确定性的输出端把 MLLM 的随机性”压”到了工程可接受,但没有归零。
4. 成本估算乐观 + MMPD 跨域未解:串行 12.6 秒的实测量、1.57 秒的摊薄估算、R 0.34 的 MMPD 跨域,三者合起来就是一句话——这套框架目前是”云端/离线可用、舱内实时不可用”。

与已有方案的关系:更新”三线分工”版图

补上 10-23 文里空着的那一行。今天的 rPPG 鲁棒性路线版图(全部为站内已精读论文的实测数字):

值得注意的谱系事实:PhysAgent 与 FLOW 共享 Bo Zhao、Junzhe Cao、Wenjin Wang、Zitong Yu——同一合作网络在训练端和推理端各推一条线,而两条线的定位不重叠:FLOW 压平的是分布差(推理免费),PhysAgent 兜住的是”压平之后仍然分歧”的残余(吃推理算力)。10-23 文的判断”先用训练端手段压分布差、压不平的尾部再用推理端仲裁兜底,顺序反了就是拿推理算力还训练分布差的账”,在这两篇同组论文的数字下依然成立,且现在两边都有了具体账目。

对 IMS 团队的启示:五条可执行项

1. 先上车确定性那一半,不等 MLLM。框架里的心率聚类、谐波(整数倍)关系检验、场景条件化 SQI 加权、组内加权融合,全部是纯 Python 确定性代码——不需要 4B 模型就能实现”异常心率拦截+审计轨迹”。一个务实的舱内 v1:跑 2-3 个互补估计器 + 确定性聚类/谐波检验,输出”单一聚类内置信”标志位,无法归入单一聚类时降级告警。
2. 把”审计轨迹”当作车规交付物。PhysAgent 的融合全程记录(候选、聚类证据、提案、验证动作、修复/回退),这正是 ISO 26262/预期功能安全(SOTIF)评审要的”决策可追溯”形态——哪怕不用 MLLM,把这套轨迹结构抄进你的仲裁日志设计,验收时能省一轮扯皮。
3. 候选池要按互补性验收,不是按数量。论文实测两模型池反而比三模型差 23.7%。要求供应商/自家团队给出”池内模型两两误差相关性”数据:训练域不同、架构不同(如频域 vs 时域)才是互补;同域同构的第二、三个模型基本只贡献错误投票。
4. MLLM 仲裁层定位为云端/离线工具:批量复核车载链路上报的”低置信片段”、标注辅助、以及把分歧样本回流进数据闭环。等 4B 级 MLLM 在舱内 SoC 上跑到秒级以内(当前论文口径:4090 上串行 12.6 秒/样本)再谈舱内部署,别用云上演示替代这个判断。
5. 验收场景必须覆盖”真值落在少数派”的失败模式。Case F 的 111.62 被多数派 86.13 压制,不是倍频混淆,而是多数派机制对正确孤立候选的系统性压制(111.62 与 86.13 也不是整数倍关系,论文未给出该案例更多上下文)——验收集里要有”真值候选是孤立/低信任点”的标注段,否则仲裁器这类失败就是静默的(与站内接触式教师文”跨库不对称验收”的教训同构:错误模式不被验收集覆盖,就不会被看见)。

路线判断

我的判断:rPPG 的”推理端仲裁”会分两步走——2026-2027 先普及确定性仲裁(聚类+谐波+SQI 加权,几乎零成本、天然可复现、可写进车规文档),2028 年后随舱内算力与小型 MLLM 的演化再评估MLLM 仲裁舱内化;PhysAgent 的真正贡献不是”4B 模型上场”,而是把”MLLM 只出提案、确定性代码出数值、验证闸兜底”这个职责分离模板跑通并给出了完整的消融与失效账。两个未决问题留给后续跟踪:其一,代码承诺”will be released soon”,截至 2026-11-02 GitHub 检索尚无仓库,复现账目(尤其 12.6 秒串行与 82.3% 提案一致性)暂无法独立验证;其二,MMPD 跨域 R 0.34 提示极端域下仲裁层的收益可能被候选池的整体崩塌吞掉——这与站内 TUM×BMW 方差分解文”跨被试泛化是主要瓶颈”的结论在推理端的镜像一致。

参考

1. Yang, Y., Zhao, B., Cao, J., Ma, H., Sun, Y., Wang, W., Yu, Z. PhysAgent: A Multi-Agent Framework for Reliable Remote Heart Rate Estimation. arXiv:2608.00066, 2026-07-29. https://arxiv.org/abs/2608.00066(摘要页+全文 HTML 两遍精读;预印本,无 venue,代码截至 2026-11-02 未放出)
2. Tang, J., Chen, K., Wang, Y., Shi, Y., Patel, S., McDuff, D., Liu, X. MMPD: Multi-Domain Mobile Video Physiology Dataset. arXiv:2302.03840, 2023. https://arxiv.org/abs/2302.03840(摘要页已读;数据集 github.com/THU-CS-PI/MMPD_rPPG_dataset)
3. 站内关联:FLOW 精读(三线分工框架出处) / StreamPPG 逐帧流式 rPPG / 接触式教师:伪标签边界 / Template Collapse 信息极限 / TUM×BMW 方差分解 / PixExpo 采集端曝光控制
4. GitHub 检索核查:https://github.com/search?q=PhysAgent+rPPG&type=repositories(2026-11-02,零结果)