PixExpo 精读:像素级曝光控制把真实驾驶 rPPG 心率成功率从 26% 拉到 63%,合读同组自适应前作——rPPG 的战场正从算法端移回采集端

车内 rPPG(远程光电容积描记,Remote Photoplethysmography)——用座舱摄像头从面部皮肤反光里无接触提取心率——过去十年的主战场一直在算法端:POS/CHROM/ICA 到 EfficientPhys、PhysFormer 这类深度模型,都在下游想尽办法对抗光照与运动。但山东科技大学、南科大与南京大学团队(Jieying Wang、Xinqi Cai、Caifeng Shan、Wenjin Wang)2026 年 9 月底挂出的论文(arXiv:2609.36607)把问题拉回了采集端:真实驾驶中阳光直射会在同一帧人脸内同时造成局部过曝与欠曝,而传统相机无论固定曝光还是自动曝光(AE),每帧只能给全画面一个曝光值——“一旦饱和导致光子级信息丢失,后续任何后处理都是徒劳”(论文原文)。他们的 PixExpo 方案不换传感器、不加硬件,只用可编程的帧级曝光接口:让相机按固定循环打出 6 档曝光,再逐像素挑出最接近目标亮度的那一帧合成。在 48 名真实驾驶员的 MEX-Drive 数据集上,心率 MAE 从厂商默认 AE 的 13.94 bpm 降到 6.73 bpm,±5 bpm 成功率从 25.95% 提升到 63.24%(+37.3 个百分点)。

这对 IMS 团队的意义有三层。第一,它证明 rPPG 的阳光失效是采集物理问题而非算法问题——论文用四个在 PURE 上预训练的深度模型(EfficientPhys/FactorizePhys/PhysFormer/iBVPNet)做了跨数据集验证,采集端改善对算法无关地成立(MAE 相对 AE 基线降 22.8–53.9%),这意味着任何”换更强模型”的选型讨论,在采集端不过关时都是空中楼阁。第二,同组 5 月的前作 Optimize-at-Capture(arXiv:2605.04397,ExpDrive 数据集)走的是”预测式自适应曝光”路线,而续作 PixExpo 这个无反馈的固定循环反而数字更好(6.30 vs 7.79 bpm)——“更笨但更稳”对车规确定性论证和 ASPICE/认证流程是实打实的加分项。第三,这条路线对硬件的唯一要求是”相机 SDK 支持逐帧曝光控制”,这意味着现有 RGB DMS 摄像头 BOM 不变就能多拿一条生理感知通道——与站内反复跟踪的”传感器复用”逻辑(热成像、UWB)完全同构。

本文为 A 型(论文深读型)。全部数字出自 arXiv:2609.36607 全文 HTML(已完整精读)、同组前作 arXiv:2605.04397 摘要页(已读)与 arXiv 作者检索页;OVT 车内传感器 HDR 技术谱系出自 OVT 官网产品技术页(已读)。站内关联:MS-rPPG 多光谱路线、OX05C1S 5MP 全局快门 DMS 传感器、ST VD56GA vs OX05C1S 双路线、墨镜/口罩/光照鲁棒性、智能手表酒驾 RCT(可穿戴生理通道)。

背景:全局曝光范式为什么在车里物理性失效

rPPG 的信号源是皮肤内血液容积变化引起的反射光微变(论文给出的强度模型:I = 𝒬(cEL·[R_DC + R_AC] + N),即环境光×反射×量化),其中脉搏交流分量 R_AC 的幅度远小于直流分量——这要求皮肤区域落在传感器动态范围的”线性甜区”内,过饱和或欠曝都会直接消灭信号。驾驶场景的问题在于:阳光从侧窗以强方向性射入,同一个人脸一半在直射光里、一半在阴影里,理想曝光是逐像素不同的空间分布 E*(x,t),而任何单值曝光(固定值也好、AE 算出来的也好)都只能满足一部分像素。

graph LR
    A[阳光从侧窗直射] --> B[同帧人脸:一半过曝/一半欠曝]
    B --> C{全局单值曝光}
    C -->|按亮区定| D[暗区欠曝<br/>R_AC 被噪声淹没]
    C -->|按暗区定| E[亮区饱和<br/>光子信息永久丢失]
    D --> F[下游任何算法<br/>都无法恢复]
    E --> F

论文把既有工作分成三条谱系(其 Table I),并各自给出一句批评,这个分类本身就有选型价值:

表:三条采集端既有谱系与共同天花板(据 arXiv:2609.36607 Table I 与 Sec. II)

换句话说,此前采集端的全部改进都还在”每帧一个值”的框里;PixExpo 的贡献是跳出这个框——用时间换空间。

核心机制:temporal-for-spatial,固定循环曝光 + 逐像素择优

PixExpo 的做法可以概括为三步,全程无反馈、无迭代、无学习:

graph TD
    A[关闭 AE,固定增益 50<br/>AWB/AGC/gamma 全关] --> B[按预设循环打曝光<br/>E1<E2<...<E6,90 fps 循环]
    B --> C[连续 6 帧同一场景<br/>每帧一个曝光档]
    C --> D[逐像素计算偏离度<br/>D = |I - I_target=140|]
    D --> E[每像素选偏离最小的观测<br/>one-hot 直接复制 RGB]
    E --> F[输出 15 fps 宽动态合成流<br/>→ POS 提取 rPPG → 心率]

三个设计决策值得展开,因为它们都不是”显然对”的:

1. 目标亮度固定在 I_target = 140(8-bit 制)。 这是经验值而非推导值——选一个中间点,给饱和(255)和严重欠曝都留余量。论文明确说这是”rPPG 动机的光度代理”,不是直接优化 SNR 或脉搏信噪比。一个更”聪明”的做法是按每像素脉搏质量反馈选曝光,但那需要积累时序才能评估,实时性不成立;固定光度代理是工程上的务实折中。

2. one-hot 融合(直接复制最接近目标的那个像素)反而最好。 论文消融了三种加权策略:one-hot MAE 6.73、高斯衰减 7.56、动态逆偏差加权 9.83(全部 Friedman 检验 p<0.001)。直觉上加权平均应该更平滑抗噪,但在 rPPG 场景里,跨帧平均会混入不同曝光档的开关瞬态,反而污染脉搏信号——这是与 Mertens 类视觉融合在目标上的本质分歧。

3. 用时间换空间有明确代价:帧率与低光。 90 fps 循环打 6 档、输出 15 fps(每 6 帧合成 1 帧),单档曝光上限被压到 ≈11.1 ms;夜间/阴雨需要长曝光积累光子,这个上限就成了硬伤。论文的低光通道测试(N=7)证实:N=2 档时 MAE 3.75 bpm,优于 N=6 的 6.99 bpm——档数不是越多越好。作者把”曝光档数与分布随光照自适应”列为未来工作。

还有一条容易被忽略的工程约束:论文自己承认存在”曝光切换伪影”(exposure-switching artifacts),且带通滤波无法完全去除落在脉搏带内的开关分量——相邻曝光档边界处的像素在时间上不连续,这在运动场景(转头、颠簸)下的影响需要额外验证。

实验与证据:MEX-Drive 上四组对照

MEX-Drive 是本文随论文引入的新数据集:48 名持照驾驶员(33 男 15 女,20–65 岁,35.0±12.4 岁),Monk 肤色 4–6 级,晴天/阴雨/日落眩光三种条件,高速与城市道路;两台同步 IDS UI-3160CP-C-HQ 工业相机(480×300,2×2 Bayer 合并),真值为 Mindray BeneVision N17 病人监护仪 500 Hz 胸导 ECG,平均参考心率 76.2±10.8 bpm,IRB 批件 SUSTech No. 20240150。注意硬件配置与被试池与 ExpDrive 完全复用——两篇论文是同一套实车设施上的两代方法。

场景 I(n=48,对厂商默认 AE / 固定曝光 / Mertens 融合):

表:场景 I 主结果(数据来源:arXiv:2609.36607,默认估计器 POS)

注意 SNR 一行的含义:PixExpo 把脉搏带(0.7–4.0 Hz)功率比从 −4.39 dB 拉到 +0.60 dB——信噪比符号翻转,这是”信号从测不到变成测得到”级别的改善,而 MAE 的改善只是它的下游表现。

跨模型普适性(防”POS 特供”质疑): 四个 PURE 预训练深度模型在 MEX-Drive 上全部受益,MAE 相对固定曝光降 23.1–42.0%,相对 AE 降 22.8–53.9%——采集端改善与估计器选择正交,这正是”物理失效优先”论点的实验支柱。

场景 II(与同组前作 Optimize-at-Capture 的三帧全局自适应曝光并行对照): 同一实车设施上,一台相机跑前作的自适应方法。PixExpo 6.30±3.39 bpm / SR 65.24%,自适应 7.79 bpm / SR 59.70%,固定曝光 9.75 bpm / SR 49.94%。分条件看,PixExpo 在晴天赢,但在阴雨条件下小幅输给自适应方法——原因正是 11.1 ms 曝光上限卡死了长积分。另有 ROI-AE 子实验(n=7):PixExpo 3.63 bpm,优于最优的皮肤 ROI-AE 4.21 bpm(POS)。

与已有方案的关系:采集端路线的两条子路线 + 两条旁路

把范围放大到”怎么让 rPPG 活过阳光”,现在的格局是四条路线。硬件 HDR 一列是定性描述(OVT 车内产品线以 DCG™ 双转换增益、TheiaCel® 等技术应对宽动态,见 OVT 官网技术页):

表:rPPG 阳光鲁棒性四路线对比(前三行数据出自两篇论文,硬件行为系本文定性归纳)

两条子路线的正面对比值得单列——这是同一团队、同一设施、相隔 5 个月的两代方案,提供了罕见的”自适应 vs 固定”受控对照:

表:同组两代采集端方案对照(数字分别出自 arXiv:2605.04397 与 2609.36607;场景 II 数字出自后者)

还有一个路线旁支需要区分:站内已解读过的 MS-rPPG 走的是多光谱硬件路线(换传感器波段来抗光照干扰),与本文的”同传感器、改曝光时序”是不同维度——前者动硬件选型,后者只动 ISP 配置,落地成本差一个量级。

对 IMS 团队的启示:五条可执行项

1. 先查相机 SDK,再谈 rPPG 选型。 PixExpo 的唯一硬件前提是”逐帧可编程曝光”——多数车规 CMOS 模组(如站内跟踪的 OX05C1S 方案)的曝光控制粒度、切换延迟、帧-曝光元数据关联是否暴露给应用层,是比分辨率/帧率更优先的询价项。没有这个接口,本文全部收益为零。
2. 把”同帧局部过曝”写进 rPPG 验收测试。 现有测试矩阵通常覆盖逆光/隧道明暗交替,但”单帧内人脸一半饱和”的场景需要专项用例(侧窗阳光 × 特定时段 × 特定朝向)。判定指标建议直接用论文的 SR(±5 bpm 内占比)而非 MAE——MAE 会被失败样本拖出误导性的小数字。
3. 警惕视觉 HDR 的伪解。 如果采集链路已经开了 HDR/多帧合成(为了 DMS 可见光成像质量),要先验证其合成方式是否破坏脉搏时序——PixExpo 用 one-hot 而非加权平均正是为了避开跨档混合,Mertens 类视觉融合在本文里只把 MAE 从 9.92 降到 9.62,远不够。
4. 采集端改善是免费的鲁棒性底座,但不解决全部。 63% 的成功率意味着仍有约三分之一窗口失败——rPPG 生理通道的正确工程定位是长时程趋势/佐证通道(疲劳、唤醒、健康的慢变量),与站内热成像 EDA 文的定位一致,而不是承担实时告警的单点依据。
5. 低光模式切换是明确的产品化缺口。 论文自己的 N=2 优于 N=6 的发现说明:白天用多档循环、夜间切换少档长曝,这个”光照自适应档数”开关值得作为下一轮需求写进 ISP 需求文档——作者团队已把它列为 future work,工程团队不必等论文,可以先在自家相机上做 A/B。

路线判断

我认为**”采集端优先”会在 2027 年前成为车内 rPPG 的共识前提**,理由有三:其一,本文与同组两代工作证明了采集端改善的量级(成功率约 +37pp)大于近年算法端在 wild 场景的边际收益,且跨估计器正交;其二,它不依赖换硬件,对已量产 RGB DMS 摄像头是 OTA/配置级变更,经济动机清晰;其三,固定循环方案的”开环、可枚举、无反馈”特性恰好匹配车规软件对确定性的偏好——这一点上它甚至比自适应版本更容易写进安全论证。

但两个悬而未决的问题会决定它的天花板:一是运动与曝光切换伪影的交互——论文承认带通滤波无法去除带内开关分量,高动态驾驶场景(颠簸、频繁转头)下 15 fps 输出流的时间连续性是否够用,需要 MEX-Drive 之外更多条件验证;二是肤色泛化——本轮被试全部为 Monk 4–6 级(亚洲面孔为主),I_target=140 这类光度参数在更宽肤色域上是否需要分域标定,论文自己把更广肤色分层列为 future work。在这些问题闭合之前,我建议把 PixExpo 类方案当作”阳光场景专项增强”而非”全条件 rPPG 基础设施”来立项。

参考

1. Wang, J., Cai, X., Shan, C., Wang, W. Pixel-wise Exposure for Highly Robust In-Vehicle Remote-PPG. arXiv:2609.36607, 2026. https://arxiv.org/abs/2609.36607
2. Wang, J., Cai, X., Shan, C., Wang, W. Optimize-at-Capture: Highly-adaptive Exposure Controlling for In-Vehicle Non-contact Heart-rate Monitoring. arXiv:2605.04397, 2026. https://arxiv.org/abs/2605.04397
3. arXiv 检索页:Wenjin Wang remote photoplethysmography(作者系列工作定位). https://arxiv.org/search/?searchtype=all&query=Wenjin+Wang+remote+photoplethysmography
4. OMNIVISION Products 页(车内传感应用与技术谱系:DCG™/TheiaCel®/LFM). https://www.ovt.com/products/