EMPD 精读:首个事件相机生理测量基准落地——激光调制腕部脉搏把 MAE 做到 1.18 bpm,但有三处账不能照单全收

站内 rPPG 线已经写了 13 篇,但全部建立在帧式相机上;传感器硬件线的事件相机只有三篇,分别是安全带检测(08-14 文)、Isaac Sim 仿真(07-16 文)和通用传感器盘点(03-13 文)。2026-03-17 挂出的 EMPD(arXiv 2603.26699,v1,eess.SP 主分类)是第一个专为事件相机设计的非接触生理测量基准数据集:83 名受试者、193 段 68 秒连续记录、心率 40–110 BPM 覆盖静息与运动后两种状态,事件相机(Prophesee EVK4,1280×720,微秒级时间戳)+ 工业 RGB 相机 + 指夹式血氧仪三路微秒级同步,数据集以 CC BY 4.0 许可整体放在 Zenodo(9 个分卷)。配套方法把腕部桡动脉脉搏波的重建误差做到 MAE 1.18 BPM / PCC 0.94,最好的帧式 rPPG 基线 RhythmFormer 是 3.39 BPM / 0.91。

这件事对舱内感知团队的价值不在那个 1.18,而在于它是”事件相机能不能进生理测量链路”这条路线判断的第一份可下载证据。舱内 rPPG 的两大痛点——低光与明暗剧变(进出隧道)、驾乘人员的运动伪影——恰好是事件相机”高动态范围 + 微秒级异步采样”这两个物理特性的靶子(Prophesee 官网级指标:>120 dB 动态范围、感知功耗 <10 mW)。但读完全文必须先泼三盆冷水:这场对比不是同轴的(事件法用 660 nm 激光主动照射腕部桡动脉,RGB 基线被动拍摄 1.5 m 外的脸);事件法的 SNR(2.89 dB)反而低于 RhythmFormer(3.17 dB);方法部分没有消融表、没有损失函数与超参、没有数据划分说明、也没有代码链接——1.18 这个数字目前只能按”作者自报”处理。下面把账本逐项摊开。

本文为 A 型(论文深读型)。信源亲读:arXiv 2603.26699 摘要页 + 全文 HTML 两轮(系统/数据/实验章节全覆盖,Table 2 十一行数字两轮逐一一致)+ Zenodo 数据集记录页(DOI 10.5281/zenodo.18765701,分卷/文件/许可/元数据字段核证)+ Jagtap et al. 2023(arXiv 2309.11891,唯一被引的事件相机心率前作,摘要级)+ Prophesee 官网首页(公司级指标,非 EVK4 型号页——型号页多次 404,已标注)。限制必须声明:论文无 venue(仅 v1,12 页 4 图 2 表);数据由山西省基础研究计划资助(项目号 202403021221074);作者机构在摘要页未列出;EVK4 传感器参数(分辨率/时间戳精度)以论文自述为准。

背景:rPPG 数据集谱系里空着的一格,和 2023 年就存在的”半个前作”

EMPD 的 Related Work 对标的是帧式 rPPG 数据集谱系:PURE(2014)、UBFC-rPPG(2019)、OBF(2018)、MMPD(2023)、MSPM(2024)。论文 §2.2 的立论是这些数据集”根本上依赖传统帧式相机采集”,普遍缺少微秒级时间分辨率——帧式相机固定 30–60 fps,既有曝光带来的运动模糊,又对高频心血管微振动欠采样。这两个论断与站内已有的两篇帧式线深读完全对得上:Template Collapse 文讨论的是帧式 rPPG 的信息论极限,StreamPPG 文讨论的是帧式范式的端侧部署。EMPD 是在模态层面给这条线换了一个变量。

但”第一个”这个声明需要校准。论文唯一引用的事件相机心率前作是 Jagtap et al. 2023(arXiv 2309.11891,未见正式 venue):被动事件相机(无激光)对准腕部,25 名不同年龄与肤色的受试者,结论是”用事件相机做脉搏检测可行”,同时自认两处局限——光照引起的闪烁(light-induced flickering)与自然手抖。它有一个放在 figshare 的小数据集。所以准确的说法是:事件相机生理测量的”方法可行性”2023 年已经有人验证过(小样本、无激光、腕部),EMPD 的增量是把这件事做成了规模化的基准数据集(83 人、双状态、三模态同步、公开许可),并给出了配套重建方法。论文 Related Work 只在 §1 提了一句 Jagtap,没有与它对比——这本身就是一个值得记录的信息缺口:被动事件路线的真实精度,EMPD 没有给出参照。

核心机制:激光把”看不见的微振动”变成”看得见的强度瞬变”

理解 EMPD 的关键是先理解它的物理链路为什么需要激光。脉搏引起的皮肤微振动幅度极小,被动事件相机只有在亮度变化越过阈值时才发事件——振幅太小,多数像素不触发。EMPD 的做法是用一个 660 nm 高相干激光笔在桡动脉区域投一个光斑:皮肤微振动会调制光斑的反射强度,把”毫米级以下的空间位移”转译成”像素级亮度瞬变”,事件相机就能以微秒精度捕捉到与 PPG 收缩峰对齐的节奏性事件脉冲。这是整个系统成立的前提,也是后面公平性问题的根源。

flowchart LR
    subgraph 主动光路["主动照明(腕部,40 cm)"]
        L["660 nm 高相干激光<br/>光斑投在桡动脉区"]
        SK["皮肤微振动<br/>脉搏驱动"]
        L -- "反射强度被振动调制" --> EV
        SK -- "位移调制反射率" --> EV
        EV["Prophesee EVK4 事件相机<br/>1280×720 · 1 µs 时间戳<br/>异步事件流:节奏性脉冲"]
    end
    subgraph 被动光路["被动拍摄(面部,1.5 m)"]
        RGB["FLIR BFS-U3-31S4C-C<br/>2048×1536@30 Hz<br/>发布版降采样至 640×480"]
    end
    subgraph 真值["接触式真值"]
        PPG["CONTEC CMS50E 指夹血氧仪<br/>60 Hz PPG 波形 + HR"]
    end
    EV --> EAM
    subgraph 方法["配套两阶段方法"]
        EAM["Event Aggregation Module<br/>ROI 定位(桡动脉区)<br/>按 60 Hz 对齐做时间分箱<br/>去趋势"]
        GAN["Waveform Reconstruction Module<br/>GAN:1D U-Net 生成器<br/>+ PSD(功率谱密度)判别器<br/>频域对抗"]
        EAM --> GAN
    end
    SYNC["定制同步框架<br/>消除异构传感器间时漂"]
    EV --- SYNC
    RGB --- SYNC
    PPG --- SYNC
    GAN --> OUT["重建脉搏波形"]

数据侧的工程账本(两轮核证一致):

实验与证据:Table 2 完整账本,和它自己都不占优的那一列

论文只给出一张结果表(外部方法对比 + 自家方法),没有任何消融实验。十一个方法五行五列全部数字如下,均出自原文 Table 2:

三个必须随身携带的读表注意:

1. 这不是 rPPG 惯例上的同轴对比。 十个帧式基线全部是标准 rPPG 方法(从经典色度法到时序 Transformer),按论文系统设计它们处理的是被动拍摄的脸;而”Ours”处理的是激光主动照明下 40 cm 外的腕部事件流。测量部位不同(腕部脉搏波与面部 rPPG 的波形特性与信噪条件本来就不同)、照明方式不同(主动 vs 被动)、距离不同(40 cm vs 1.5 m)。”事件法把 MAE 做到基线的 1/3”如果被转述成”事件相机比 RGB rPPG 准三倍”,就是误读——它证明的是**”激光调制 + 事件相机 + 腕部”这个组合在这套数据上的精度上限**,而不是两种模态在同等条件下的胜负。
2. 事件法自己在 SNR 列没有赢。 PCC 0.94 是全场最高,但 SNR 2.89 dB 低于 RhythmFormer 的 3.17 dB,也只比 PhysFormer 的 1.99 dB 高 0.9 dB。波形重建的 PCC 高而 SNR 不突出,合理解释是 GAN 重建出的波形在频谱干净度上有代价——但论文没有消融,这个解释只能标”本文推测”。
3. 帧式基线在这套数据上其实是”客场作战”。 CHROM(PCC 0.89)和 RhythmFormer(PCC 0.91)是它们在帧式基准上的正常水平,说明面部 RGB 数据质量本身没有崩;真正反常的是 POS(PCC 0.81)与 GREEN(PCC 0.57)的排序,这更可能反映 640×480 发布版分辨率下的行为,无法进一步归因——论文没有给出基线的协议细节(窗口长度、是否统一调参)。

复现性账本:四个缺口,目前”1.18”只能按作者自报处理

这是全文对工程读者最要紧的一节,因为论文的方法章是四个”说了但没说完”:

对照站内已经建立过的复现跟踪惯例(CanonicalPhys 的 MIT 仓库、TriDrive 的 HF 权重),EMPD 目前的可验证性只有数据集本身:Zenodo 数据是落地的、CC BY 4.0、元数据字段齐全,外部团队可以做”用你的方法在 EMPD 上打 Table 2”的复算,但无法复现”Ours 的 1.18”。这在部署选型上的直接含义是:1.18 / 0.94 在被独立复算之前,应该当作”该组合的乐观上界”而不是”该组合的期望值”。

与已有方案的关系:三张表看清楚事件相机生理线在哪里

这张表的空白格就是路线判断的依据:被动事件相机在生理测量上,今天既没有规模数据集,也没有任何一篇论文给出可对照的精度数字——Jagtap 只有”可行性”结论,EMPD 走的是主动激光路线。舱内团队如果只看 EMPD 的 1.18,会以为事件相机生理线已经成熟;实际上这条线上”被动、面部、舱内光照”这个与 DMS 摄像头真实工况最接近的组合,数据为零。

对 IMS 团队的启示

1. 先分清两条事件相机生理路线,别合并评估。 主动激光调制路线(EMPD):精度数字漂亮,但把一个 660 nm 激光器放进舱内意味着新的光学安全与认证负担、以及对准约束(光斑必须落在桡动脉区)。被动路线(Jagtap):部署形态与现有 DMS 摄像头同构,但没有数据集、没有精度数字、作者自己列了闪烁与手抖两个失效模式。我认为 2027 年前舱内值得投入的是被动路线的小规模自采验证,主动路线在舱内不成立——光斑对准在驾乘人员的连续腕部运动下维持不了,这不需要论文证据,是几何常识(本文推测)。
2. 腕部在车内有真实场景,但不是现在这个形态。 驾驶员双手握持方向盘时手腕确实朝向舱内,这是 EMPD 部位选择对舱内的真正启发。但 40 cm 定点距离 + 激光指向的组合更接近”方向盘集成光源”的形态,那已经是有源传感器(与 60 GHz 雷达 CPD 的有源逻辑同构,03-12 CPD 文的穿遮挡思路在此不适用——光路会被衣袖完全遮挡)。
3. 事件相机的舱内价值主战场仍是低光/明暗剧变与常开功耗,生理测量是加分项不是立项理由。 Prophesee 官网级指标(>120 dB 动态范围、感知 <10 mW)对 CPD 常开链路(08-14 安全带事件相机文的功耗逻辑)是真实吸引力;如果一辆车已经因为低光鲁棒性装了事件相机,在上面”顺便”跑生理测量的边际成本才是合理的立项顺序——反过来”为生理测量单装事件相机”不成立。
4. EMPD 数据集本身可以直接进采购清单,但按 400 GB 量级规划存储。 CC BY 4.0、三模态微秒级同步、静息/运动后标签、性别与受试者 ID 元数据齐全——这对帧式 rPPG 团队有一个特殊用途:它的 RGB 脸部视频降采样版(640×480)可以作为新的跨库测试集,检验自家模型在”工业相机 + 实验室受控环境”之外的表现;反过来事件流对舱内团队暂时没有直接可用性,除非你的方法就是事件流方法。
5. 把”1.18”写进任何选型文档前,等两件事之一发生: 作者放出代码与协议细节,或第三方用 Zenodo 数据复算出同一量级。站内对这类”单轮自报”数字的既有处理规则(两轮一致才入文、复现失败反向也是证据)在这里同样适用——我已经把复现跟踪登记进选题池。
6. 给数据集建设者的方法学提醒:EMPD 的”首个”声明建立在 Related Work 只盘帧式数据集之上。 你自己建舱内生理数据集时,”first”声明必须把跨模态前作(Jagtap 这类)显式列入并对比,否则审稿与选型两端都会被打回来。这与站内 VITAL 文的”归因探针”是同一类严谨性:声明边界先于声明本身。

路线判断

我认为事件相机生理测量这条线在 2026-11 这个时点的真实状态是:“模态可行”(Jagtap 2023)与”基准落地”(EMPD 2026)两步已经走完,但”部署形态收敛”一步还没开始——没有人回答被动事件相机在脸部、在舱内光照、在 DMS 同款视场角下能到什么精度。EMPD 用主动激光换来了漂亮的数字,代价是把路线带偏成了”有源腕部传感”,而这个形态与舱内的结合点(方向盘集成光源)面临对准与光安全两道坎。下一个值得等的信号是:被动面部事件流生理测量的第一个数据集或第一篇带精度数字的论文。在那之前,舱内团队对这条线的正确姿态是跟踪而非立项;对已经装了事件相机的平台,可以做低成本的自采可行性实验(被动、面部、复用 Jagtap 的协议),把空白变成自家数据。

参考

1. Feng, Q. et al. EMPD: An Event-based Multimodal Physiological Dataset for Remote Pulse Wave Detection. arXiv 2603.26699 (v1, 2026-03-17). https://arxiv.org/abs/2603.26699 (全文:https://arxiv.org/html/2603.26699v1)
2. EMPD 数据集,Zenodo,DOI 10.5281/zenodo.18765701,CC BY 4.0,9 分卷。https://doi.org/10.5281/zenodo.18765701
3. Jagtap, A. et al. Heart rate detection using an event camera. arXiv 2309.11891 (2023). https://arxiv.org/abs/2309.11891
4. Prophesee 官网(公司级指标:动态范围 >120 dB、感知功耗 <10 mW、时间精度等效 >10,000 fps)。https://www.prophesee.ai/