热成像无接触皮电精读:Oulu 组在 SIM1 驾驶数据集上拆 EDA/呼吸/心率三通道(|r| 0.40 / 3.1bpm / 失败),合读同组”oracle 虚高”警告

皮电活动(Electrodermal Activity, EDA)是自主神经唤醒最直接的生理通道——认知负荷、情绪应激、困倦对抗都会在指尖或面部汗腺上留下痕迹,而现有方案全部依赖接触电极(GSR 手环、指尖电极),这正是它在座舱里落不了地的原因。Oulu 大学 Álvarez Casado、Bordallo López 组(与 Mohammad Rahman 等 7 人)2026 年 2 月挂出、9 月更新至 v3 的论文(arXiv:2602.12361)给出了第一个系统性的替代方案:用一只 7.5 fps 的 LWIR 热成像摄像头,从面部 6 个 ROI 中同时分离”汗腺慢趋势(EDA 样)/心跳/呼吸”三个频带——在公开驾驶模拟数据集 SIM1 上,EDA 最优配置与手掌电极的绝对相关达到 0.40±0.23(最好单次 0.89),呼吸 MAE 3.1±1.1 bpm 可用,而心率在 7.5 Hz 帧率下明确失败(MAE 13.8±7.5 bpm)。

这对 IMS 团队的意义有三层。第一,它把”热成像 = 夜视兜底通道”的既有定位(站内已跟踪墨镜失效场景下的 RGB-IR 互补)扩展出一个新的生理感知维度:唤醒水平的无接触估计,直接服务 Euro NCAP 2026 认知分心线——认知负荷的客观化正是站内反复指出的量产级缺口,而 EDA 是比眼动熵更接近自主神经本源的佐证通道。第二,它的结论非常”不商业”:心率这一被所有 rPPG 团队追逐的指标,在这套管线里被作者亲手判了死刑并解释了帧率根源——这种诚实的负结果对选型比对 SOTA 数字更有用。第三,同组 2026 年 10 月 1 日挂出的 5 页方法论姊妹篇(arXiv:2610.02561)证明:“逐窗 oracle 挑最优”的评估范式会随候选数量 K 增大而机械变好(约 1/K 衰减),本文据此对 SIM1 论文自己的 oracle 数字(0.54)给出解读警告——这两篇合读,恰好构成”热生理通道怎么做”与”它的数字该怎么读”的完整拼图。

本文为 A 型(论文深读型)。全部数字出自 arXiv:2602.12361(v3,2026-09-02)全文 HTML(已完整阅读)与 arXiv:2610.02561 摘要页(已读);SIM1 数据集设计出自 Taamneh et al., Scientific Data 4:170110(2017,Europe PMC 全文库核对)。站内关联:智能手表酒驾 RCT(可穿戴唤醒通道)、墨镜/口罩/IR 补光下的眼动鲁棒性、热成像 DMS 夜视方案、热成像驾驶员健康监测、TUM×BMW 方差分解(被试间泛化)。

背景:EDA 为什么值得无接触化,以及 SIM1 是什么底子

EDA 的生理机制决定了它的座舱价值:汗腺分泌受交感神经直接支配,对认知负荷与情绪应激的响应在秒到十秒级,不需要像眼动那样做”行为→状态”的推断。但接触式 GSR 有两个座舱死穴:要求驾驶员手握电极(与转向盘操作冲突),且个体基线漂移大、运动伪迹重。学界早已注意到面部是天然的 EDA 观测窗——鼻周与颧部汗腺在唤醒时会先降温(血管收缩)再升温(汗液蒸发),Pavlidis 组(正是 SIM1 数据集的作者团队)当年就提出过”鼻周出汗热成像”(perinasal perspiration, PP)通道,但那条线依赖高帧率制冷热像仪与受控实验室。

Oulu 组这篇论文选择直接在真实驾驶模拟数据上做”低帧率 + 多 ROI + 信号分离”的工程化版本。他们用的 SIM1 是 Taamneh et al. 2017 发表在 Scientific Data 的公开多模态数据集:68 名被试在驾驶模拟器中完成四种驾驶条件(练习驾驶约 3 分钟、正常驾驶、认知分心、情绪分心,各约 10.7 分钟),同步记录 palm EDA(Shimmer3 GSR)、胸带 HR/呼吸(Zephyr BioHarness 3.0)、热成像(FLIR Tau 640 LWIR,35mm f/1.2,约 1.2 m 距离,640×512,16-bit,约 7.5 fps)与眼动。本文从 68 人中取 8 人(每年龄组 2 女 2 男:18–27 岁与 60+ 两梯队)共 31 个 session(32 个中 1 个因同步文件缺失剔除)。

三个先于结论要说清的底子:SIM1 的热相机只有 7.5 fps——这对 EDA(<0.1 Hz)和呼吸(0.12–0.55 Hz)绰绰有余,对心跳基波(1–3.5 Hz)按奈奎斯特已贴地;数据集自带的鼻周出汗通道 PP 对 9 名男性被试因胡须不可靠,这正是论文同时对标 PP_NR(去不可靠样本)与 PEDA(掌部)两个真值的原因;被试规模是 8 人 31 session——它是一篇管线与信号质量论文,不是分类性能论文,这决定了下文所有数字的读法。

核心机制:一条管线拆三个频带

整条管线的设计哲学是”先分带、后选区”,每个频带用不同的物理假设提取,这是它与”端到端回归生理值”路线的根本区别:

flowchart LR
    A[LWIR 热视频 640x512<br>16-bit / 约 7.5 fps] --> B[2-98 百分位拉伸<br>转 8-bit 伪彩]
    B --> C[YOLOv5-Face + TFW 权重<br>人脸框 + 5 关键点]
    C --> D[关键点 EMA 平滑<br>α = 0.15]
    D --> E[6 个比例 ROI<br>鼻/双眶周/双颊/额]
    E --> F[空间聚合为标量<br>均值/高斯加权/截尾/最热 30%]
    F --> G1[EDA 样带 &lt;0.1 Hz<br>8 种趋势方法 → 1 Hz]
    F --> G2[心跳带 0.3-4.0 Hz<br>OMIT 投影去运动 → Welch 15s]
    F --> G3[呼吸带 0.12-2.0 Hz<br>鼻+双颊平均 → Welch 25s]
    G1 --> H1[EDA 趋势 r]
    G2 --> H2[HR bpm]
    G3 --> H3[BR bpm]

ROI 与空间聚合。 6 个 ROI 全部按人脸框比例定义:鼻部 0.30 b_w×0.15 b_h(以鼻尖为中心)、左右眶周 0.24×0.12(近内眼角)、左右颊 0.20×0.20、额头 0.45×0.18。空间聚合用四种:算术均值、高斯加权均值(σ=0.35×半宽,用于鼻/颊/额)、截尾均值(去 top/bottom 10%,用于眶周)、最热 30% 像素均值。关键点是用 TFW(SpeakingFaces 热人脸数据训练)权重做热图人脸检测——RGB 预训练检测器在热图上会失效,这是复现这条管线的第一个工程门槛。

三个频带的分离策略:

OMIT 是这条管线最有复用价值的部件:它不假设运动模型,而是把”多个 ROI 共享的运动相关主分量”用 QR 分解正交投影掉——对舱内这个头部持续运动、摄像头视角缓慢变化的场景,比逐帧对齐便宜且稳。

实验与证据:三通道三种命运

论文在 288 种”ROI×方法”配置(6 ROI × 8 趋势方法,配多指标)上评价,真值用 PEDA(掌部电极)与 PP_NR(数据集自带鼻周热出汗通道)双对标。结果可以概括为一张表:

EDA 的三个诚实细节(这是本文最值得抄进评估方案的部分):

1. 带符号相关在总体上约为零——极性几乎五五开(对 PP_NR 58% 正、对 PEDA 52% 正)。这不是噪声,是两种生理过程在竞争:血管收缩让局部降温(负极性)、汗液蒸发让局部升温(正极性),同一个 session 内可以交替。所以论文明确说要用绝对相关评幅度、用滞后容差的互相关评时序对齐(中位滞后 0.0 s,平均 |滞后| 19–20 s,σ≈32 s)。
2. “哪个 ROI 最好”不收敛:总体上鼻与颊最强(0.39–0.40),但分任务看,练习驾驶是右眶周(0.5817)与额(0.5782)最好,认知分心任务最弱(0.2610),逐被试最优配置的范围横跨 0.26–0.67。作者的结论是自适应 ROI 选择/多 ROI 融合/极性感知处理优于任何固定单配置——这与站内刚精读过的 TUM×BMW 方差分解文”per-driver 差异主导、特征级归一化全线失效”的结论在跨被试泛化维度上再次呼应。
3. 人口学分组几乎无差(EDA:女 0.31±0.18 / 男 0.31±0.20,年轻 0.30±0.23 / 年长 0.32±0.14),即难点不在人群,在个体内动态。

呼吸是三通道里的”意外稳者”:各人口学组 MAE 都落在 3.0–3.2 bpm,练习驾驶最好(2.5 bpm,PCC 0.32),认知分心任务最差(3.7 bpm)——分心任务里呼吸模式本身变浅变快,既压低精度也是它作为”状态证据”的价值所在。

心率失败得很有信息量:7.5 fps 下 60–210 bpm 的基波每帧只有 0.08–0.28 个周期,叠加头动,MAE 13.8±7.5 bpm 且 bias 高达 +10.3(年长被试 18.3±9.9 bpm 更差)。作者没有试图用插值救它,而是直接归因帧率并给出文献对照:

合读姊妹篇:你的 oracle 数字可能一半是运气

Oulu 组 2026-10-01 挂出的 arXiv:2610.02561(Rahman 等,5 页)值得每 一个做生理信号评估的人精读,核心论断一句话:“逐窗 oracle 挑最接近真值的候选”这种评估方式,会随候选数 K 增大而机械变好——对 K 个与真值无关的独立候选,期望 oracle 误差按约 1/K 衰减。

他们在 96 段 iBVP 热 recordings、每 10 s 窗 168 个候选上验证:oracle MAE 达到 0.91 bpm,而最好的固定配置是 10.74 bpm、最好的信号质量指标(SQI)只有 18.03 bpm——甚至不如一个常数预测器(8.61 bpm)。杀招是零对照(null control):把 K=24 时从别的 recording 拿来的额头信号(与真值毫无关系)喂进 oracle,得到 4.62 bpm,与正确信号自己的 4.61 bpm 无法区分。作者的处方:凡报 oracle 评估,必须同时披露候选数 K、有效覆盖率、并附配对零对照。

这对本文的直接读法:SIM1 论文自报的”逐 session oracle 选配置”相关为 0.54(峰值 0.89),比最优固定配置 0.40 高出 14pp——按姊妹篇的框架,这 14pp 的”自适应 ROI headroom”里有多少是真信号、多少是 31 个 session 里挑最好的运气,论文自己没有做零对照检验。我认为这是在把”自适应 ROI 选择”写进需求文档之前必须补的实验:**自适应的收益评估必须与”随机选配置”的分布比,而不是与固定配置比。**这也是本文合读两篇论文而不是只读一篇的原因——热生理通道的技术上限和评估方法的上限,是两条要分别验证的边界。

与已有方案的关系:EDA 观测的四条通道

把”如何拿到座舱内 EDA/唤醒证据”的四条路线放在一起(与今晨智能手表文的四路格局分析方法同构):

热管线的独特生态位在于硬件复用:一台热相机同时服务夜视兜底(墨镜场景)、CPD 辅助与生理通道,边际 BOM 为零——这与”为了 EDA 单独加传感器”是完全不同的立项逻辑。

对 IMS 团队的启示

1. 通道定位要按帧率裁剪:7.5 fps 级热相机只承诺”呼吸 + EDA 慢趋势”,不承诺心率;要心率,30 fps 起步(文献对照表),50 fps 才有 Pereira 级精度。选型文档里把这条写成传感器规格红线,而不是留给算法团队事后救。
2. EDA 上车先做极性感知架构:不要假设”皮肤温度升=唤醒”。管线层面就并行保留升/降两个假设,输出”唤醒证据强度”而非带符号温度趋势;ROI 选择做自适应,但其收益评估必须配零对照(姊妹篇处方)。
3. 评估规范直接抄论文的指标组:带符号相关 + 绝对相关 + 滞后容差互相关(±120 s)+ 趋势一致率,四个一起报——只报其中一个都会系统性误导(本文 EDA 就是”绝对相关 0.40、带符号相关≈0”的典型案例)。
4. 认知分心线的新佐证通道:SIM1 里认知分心任务恰好是 EDA 追踪最弱、呼吸 MAE 最差(3.7 bpm)的任务——这不是坏消息,而是”分心发生时生理信号形态改变”的间接证据。热 EDA/呼吸可以作为眼动认知分心检测的第二证据源做多模态佐证,而非独立判据。
5. 复现门槛清单:热图人脸检测要用 TFW/SpeakingFaces 权重(RGB 权重会失效)、关键点平滑 α=0.15 在 7.5 Hz 下不可省(左眶周 0.424→0.372 的退化)、OMIT 需要 ≥3 个 ROI 通道输入。论文页与全文均未挂代码仓库,复现属于中等工程量。
6. 真值侧教训:掌部 EDA(PEDA)与面部热真值(PP)在 9 名男性上因胡须分叉——任何面部生理通道的数据采集方案都要把胡须/妆容列为协变量,否则会被试性丢失。

路线判断

我认为热生理通道在 2027–2028 的量产定位是**”兜底通道 + 佐证通道”,不是主检测通道**:呼吸可用性最好但单通道价值有限,EDA 幅度相关 0.40 只够做证据融合的加权项,心率被帧率锁死。它的立项价值在边际 BOM 为零——如果夜视/墨镜兜底已经把 LWIR 摄像头装上车,生理通道就是免费的软件增量;反过来,为 EDA 单独上热像仪在现有法规评分(Euro NCAP 认知分心尚无生理通道加分项)下不成立。真正值得盯的后续信号是:同组把零对照评估框架用在 SIM1 自己的自适应 ROI 声明上(姊妹篇只做了 iBVP/心率),以及低帧率下 OMIT 对呼吸+EDA 的联合优化版本——两者任一出现,这条通道的工程成熟度就会跨过”可写入 HMI 自适应策略”的门槛。

参考

1. Álvarez Casado, C. et al. Thermal Imaging for Contactless Cardiorespiratory and Sudomotor Response Monitoring. arXiv:2602.12361v3, 2026. https://arxiv.org/abs/2602.12361
2. Rahman, M. R. et al. Oracle headroom without signal: null-calibrated evaluation of candidate selection for thermal heart rate estimation. arXiv:2610.02561, 2026. https://arxiv.org/abs/2610.02561
3. Taamneh, S. et al. A multimodal dataset for various forms of distracted driving. Scientific Data 4:170110, 2017. DOI 10.1038/sdata.2017.110. https://europepmc.org/articles/PMC5827115
4. arXiv 检索:Álvarez Casado 组热成像研究线(含 arXiv:2309.06095 运动疲劳估计、arXiv:2610.02561)。https://arxiv.org/search/?searchtype=all&query=Alvarez+Casado+thermal