漏报 17.4%→5.3%:arXiv 2606.26922 给 DMS 加一个”拒答”门控——快慢双分支、世界模型前瞻与四动作仲裁精读

先给一句可以被引用的论断:DMS 工程里最危险的错误不是”分心没测出来”,而是模型不确定的时候仍然硬给一个结论——arXiv 2606.26922(Qiu 等,2026-06-25 提交,cs.RO)把”拒答”做成了 DMS 推理栈里的一等公民:一个 11.39M 参数、3.08 ms 的 RGB+生理多模态学生模型,配一个学习型门控,在”高驱动需求”这个安全关键正类上把不安全漏报(unsafe FN)从 17.37% 压到 5.27%±0.81%,代价是平均 15.6% 的样本拒答、而不是唤醒慢分支——慢分支(VLM)单次推理 8615.98 ms,本来就不可能常开。

这篇论文值得 IMS 团队现在读,理由有三。第一,它把”拒答”从学术上的 selective prediction 搬进了车载仲裁语义:拒答不是丢弃,而是一次安全干预,动作空间是四选一(接受快结果/降级告警/换慢模型/慢模型复核),这和 L2→L3 仲裁栈里”多传感器不一致时怎么办”的工程问题是同一道题。第二,它给了一个少见的诚实账本:匹配覆盖率下,学习型门控 5.28% 漏报 vs 随机拒答 14.67% vs 置信度/熵/margin 启发式 10.27%——拒答必须报覆盖率、必须配这两个基线,否则”加了拒答”什么也证明不了。第三,它的裂缝也同样有教育意义:数据是模拟器(SCANeR studio)情绪诱导场景,scenario-only 探针就有 0.7372 Macro-F1,几乎追平全模型 0.7440;生理通道缺失时指标反而最好(0.8409)——“多模态”的成色要看探针表才知道。

本文为 A 型(论文深读型)。信源:主文 arXiv 2606.26922 摘要页与全文 HTML 各一遍精读(HTML 版),数字全部对照原文表格与消融节;数据集侧另读 manD 1.0 数据集论文全文(Dargahi Nobari & Bertram,Scientific Data 11:327,2024,nature.com 经 cookie 跳转抓取)。凡原文未给出的信息(如作者单位、推理硬件平台)本文一律不写;本文推断处单独标注。

背景:DMS 的错误不对称,但推理栈没按不对称设计

量产 DMS 的默认推理模式是”总是预测”:任何帧都给出一个状态结论,置信度低就调阈值。这篇论文的出发点是这个模式与安全工程的错配:在”高驱动需求”检测里,把高需求漏判成低需求(unsafe FN)的代价,与把低需求误报成高需求的代价,根本不在一个量级——但标准的交叉熵训练把两类错误对称对待,推理端也没有任何”我可以不答”的出口。

论文给出的第一个量化依据是快慢分支的时延差:轻量学生模型单次推理 3.08 ms,而作为对照的视觉-语言模型(VLM)慢分支单次 8615.98 ms——相差约 2800 倍。这就是为什么”VLM 进舱”在 2026 年仍停留在慢速复核/离线挖掘角色(站内相关判断:PhysAgent 精读:MLLM 只出提案、确定性代码出数值、arXiv 2610.33915 agentic 驾驶立场文)。选择性推理的工程意义就在这个夹缝里:快模型常开,但允许它说”这个问题我答不了”,把不确定的样本交给更贵的通道或更保守的动作。

论文的第二个背景判断是数据现实:同时有同步 RGB 视频、HR/EDA 生理信号、且带二值需求标签的公开数据集几乎没有,这是全文只在 manD 一个数据集上评估的原因(论文自述限制)。manD 1.0(Dargahi Nobari & Bertram, 2024)是德国持照驾驶员的模拟器数据集:50 人采集(21–65 岁、性别均衡,其中 11 人晕动,测试组剔除后 39 人),每人一次熟悉驾驶加五个情绪命名场景(无情绪/愤怒/惊讶/悲伤/恐惧,用 FilmStim 电影片段诱导:《怒火》6′07″、《天使之城》4′25″、《闪灵》4′25″),自动化等级覆盖 SAE L0–L3,含 10 秒预算的接管请求(TOR)与 n-back、数字广度、地铁跑酷、打电话、朗读书籍等非驾驶任务;传感侧 Intel RealSense D435 舱内 RGB(30 FPS、1920×1080、裁切 200×200)、SmartEye Aurora 眼动仪(120 Hz)、Empatica E4 腕带(BVP 64 Hz、EDA 4 Hz,派生 HR)、BIOPAC B-ALERT X10 脑电(256 Hz)、BodiTrak2 座椅压力阵(32×32)。论文用的是其中 RGB 片段 + 窗级 HR/EDA 两通道,标签为低/高二值驱动需求。

核心机制:学生模型、世界模型、选择性门控三件套

整体数据流如下——三层各自可拆,这也是论文消融的切法:

(数据流据 Qiu 等 2026 第 3 节整理;mermaid 为本文转译。)

学生模型:便宜,但要先过生理归一化这一关

学生模型是标准的轻量多模态分类器:MobileNetV3-small 等骨干提 RGB 帧特征,时序聚合用均值/GRU/TCN/注意力四选一,再与窗级 HR/EDA 编码融合。架构消融(Table 4)里最好的组合是 MobileNetV3-small+预训练+均值池化(Macro-F1 0.7774)与 ResNet18+预训练+GRU(平衡精度 0.9221),注意力聚合反而最差(0.6407/0.8508)。生理信号的归一化方式比骨干选择更致命:逐窗 z-score 最稳,全局 z-score 掉到 0.7651/0.8677,原始统计直接崩到 0.6058/0.6659——舱内生理信号的个体基线漂移,在信号进模型之前就必须处理(站内互证:arXiv 2607.16847 方差分解:驾驶员身份解释 23% 行为方差)。

世界模型:预测”模型下一步会不会错”,而不是重建信号

世界模型模块的输入不是像素,而是一个紧凑特征向量 u_t(隐层表示、logits、置信度、熵、margin、模态分歧、生理质量)的 K 步历史。设计上做了一个很车上先验的因式分解:动作无关的潜空间 rollout 只建模驾驶员状态的自然演化(因为短窗口内系统动作不会因果地改变驾驶员生理),动作条件分支另行估计每个系统动作的反事实代价。输出五件套:未来高需求概率、未来模型误差(逐步 + 窗口最大值,前瞻 H=5)、每动作代价、不安全概率、拒答概率。论文强调不重建原始 RGB 帧或生理波形——这一点与车载世界模型”重建像素”的流行做法刻意划清界限。

前瞻误差预测的 AUC 从 H=1 的 0.8818 升到 H=5 的 0.9486(预测越远越准,说明误差信号本身有自相关结构),反事实代价回归在 H=3 误差最小(MSE 2.2440)。

选择性门控:两阶段训练 + 效用最优阈值

门控的输入是一个可靠性向量:置信度、熵、top-2 logit margin、RGB-only 与 RGB+生理的预测分歧、生理质量、世界模型特征。训练分两段:第一段做代价敏感的”这个预测会不会错”正确性预测;第二段在标定集上 jointly 选阈值 τ 和兜底动作 b,目标是最大化经验效用——效用函数里不安全漏报的惩罚 C_ufn 显式大于普通错误的惩罚 C_err,拒答本身和调用慢模型的时延也各计罚项。也就是说,门控学到的不是”哪里不确定”,而是”在这个代价结构下,不确定到什么程度值得付出拒答/换模型的代价”。被拒答的样本标签记为 ∅,论文明确写”拒答被解释为一次安全干预”。

实验与证据:主表、匹配覆盖率对照与消融账本

主任务”场景诱导的驱动需求监测”上(Qiu 等 2026,Table 1/2):

配置 Macro-F1 平衡精度
多数类基线 0.4710 0.5000
仅生理(HR/EDA) 0.3607 0.5450
仅 RGB 0.6608 0.7463
RGB+生理(学生模型) 0.7440 0.9099
VLM 慢分支 0.4506 0.4442
加门控(多种子均值±标准差) 0.8421±0.0214 0.9463±0.0353

核心安全指标:不安全漏报从 always-fast 的 17.37% 降到门控的 5.27%±0.81%;慢分支单独上反而是 21.04%——大模型并不自动更安全。注意门控的 Macro-F1 0.8421 高于学生模型裸分 0.7440:拒答把难样本移出评测分布,这个”分数膨胀”效应本身是选择性预测的已知属性,读数字时要以漏报/覆盖率对来看,不能只看 Macro-F1。

最有含金量的一张对照是匹配覆盖率下的门控基线(覆盖率都对齐到 0.8439,即都拒答约 15.6%):

拒答策略 不安全漏报
随机拒答 0.1467
置信度/熵/margin 启发式阈值 0.1027
学习型门控 0.0528

学习型门控的价值不是”拒答”本身,而是同一拒答预算下挑对了样本:比随机拒答少 9.4 个百分点漏报,比朴素启发式少 5 个百分点。另两个门控基线的位置:熵门控能到 0.0314 漏报但覆盖率只有 0.6946(拒答三成样本),生理感知规则门控 0.0335@0.8310 但时延最高到约 2046 ms 且论文称稳定性较差;MPC 式门控覆盖率 0.8590–0.9006、漏报 0.1195–0.1414,弱于学习型门控。门控整链有效时延均值 90.18 ms(被一个 351.45 ms 的种子拉高),远低于慢分支的 8615.98 ms。

三个必须原样转述的负面结果(论文自报):

  1. 生理通道的成色存疑。 生理完全缺失/置零的配置反而拿到全场最好 Macro-F1 0.8409;打乱生理 0.5987/0.8029,时移生理 0.7432/0.8569(几乎追平真生理)。加上生理确实修复了 RGB-only 的 382/803 个错误(47.6%)和 228/646 个不安全漏报(35.3%),但论文坦承精确生理同步是未解决限制,模型可能在使用窗级上下文而非时间锁定的生理动态。
  2. 标签与场景高度共线。 scenario-only 探针(只看场景 ID 不看驾驶员)就有 0.7372/0.9089,scenario+分数探针 0.7803/0.9239 超过全模型。论文据此把任务定性为”场景诱导的驱动需求监测”,明说不是临床意义的压力/负荷诊断——manD 的情绪诱导设计(愤怒/悲伤/恐惧)意味着标签很可能主要由场景身份决定(标签构建细节论文未给出,此句为本文推断)。
  3. 门控不是万能保险。 最差组(按被试×场景分组的最不利组)加权漏报漂到 0.0705,最难组是 P10::Anger、P16::Sadness、P9::Fear;留一场景出(LOSO)下加权 Macro-F1 只有 0.4339;合成早警测试里默认阈值下近似逢正类必告警(误报率约 1.0)。世界模型门控把漏报从 0.0721 降到 0.0510(风险校准 0.0507),但未处理正类从 0.1103 升到 0.1140,因式分解潜空间版拒答更多(未处理 0.1595);无潜空间版 Macro-F1 最高 0.8538 但未处理正类 0.2043——安全指标之间互相挤压,没有免费午餐。

蒸馏结论同样负面:CE-only 0.7440/0.9099,原始 KD 0.7461/0.7768(平衡精度暴跌),可靠性过滤 KD 0.6828/0.8309——VLM 教师的知识蒸馏在这个设置下没有一致收益。

与已有方案的关系:拒答在 DMS 仲裁栈里的坐标系

把本篇放进站内已建立的”不确定性如何进 DMS”谱系,四条路线的分工是清晰的:

路线 代表 不确定性表达 推理端动作 状态
评估框架 HCBF 部署感知基准(arXiv 2606.08123,站内解读) 鲁棒性/迁移/时延/忠实度多维排名,非补偿合成 无 评估侧,不进推理栈
集合式估计 arXiv 2608.02308(站内精读) 可行集(未知但有界),失败显式 无显式拒答动作,集大小即不确定性 模拟器 20 人,信任/风险/负荷
确定性数值闸 PhysAgent(arXiv 2608.00066,站内精读) MLLM 只出提案,确定性代码出数值 验证闸兜底 rPPG 数值任务,非分类拒答
学习型拒答门控 本篇 2606.26922 学习型正确性预测 + 世界模型前瞻误差 四动作仲裁,拒答=安全干预 单数据集模拟器,预印本无 venue

与集值估计那条线的互补关系值得点破:2608.02308 用可行集回答”我们能诚实地说知道多少”,但没有把集大小接到动作上;本篇把”知道多少”接到了”该做什么”,代价是必须依赖标签分布与代价函数的标定——两条线合起来才是完整的”不确定性→动作”链路。与 PhysAgent 的共性是”不让大模型直接给安全结论”:PhysAgent 让 MLLM 只出提案,本篇让 VLM 只当昂贵的备件,工程哲学同源。

对 IMS 团队的启示

  1. 把 unsafe FN 单列成验收指标,并写进代价函数。 本文的门控之所以能到 5.28%,前提是 C_ufn > C_err 的不对称效用结构在标定集上生效。你们当前的 DMS 验收表如果只有”准确率/误报率”两列,拒答机制永远学不对——先改指标结构,再谈算法。
  2. 拒答要报覆盖率,且随机拒答和启发式门控是必配基线。 匹配覆盖率对照(随机 0.1467 / 启发式 0.1027 / 学习型 0.0528)应成为任何”我们加了拒答”类工作的标准呈现格式;只报拒答后的精度不报拒答率的论文,审阅时直接打回。
  3. 四动作空间比二值”接/不接”更贴车端现实。 abstain_warn(降级告警)占住了大多数拒答流量(慢调用率仅 0.0101±0.0175),这意味着拒答的主要实现形态是”先给保守动作”,不是”唤醒大模型”——8615.98 ms 的慢分支只配当备件。
  4. 舱内生理通道:逐窗 z-score 起步,同步问题当开放问题挂账。 原始统计归一化崩到 0.6058 的教训与站内 rPPG 系列的结论一致(个体基线先行);而”生理缺失反而最好”这个反常结果提示,生理质量门(quality gate)要作为独立特征显式建模,不能默认信号永远可用。
  5. 最差组验收要进测试矩阵。 P10::Anger/P16::Sadness/P9::Fear 这类被试×场景最差组漂移(0.0705)与站内”跨被试泛化”系列(Kamrud EEG 文、Köning 方差分解文)的结论同构:平均指标达标 ≠ 组间均匀达标,验收集要按组分层并报告最差组。
  6. 场景共线性要主动排查。 scenario-only 探针 0.7372 追平全模型,意味着”模型学到的可能主要是场景而不是驾驶员状态”。给现有 DMS 数据集补一个 scenario-ID-only 探针是半天工作量,能提前暴露一类标签泄漏。

路线判断(本文观点,给依据): 拒答门控会先于 VLM 进量产仲裁栈——它不改硬件、只改推理端决策逻辑,且四动作语义能直接映射到 L2/L3 的告警分级与接管请求逻辑(R171 DCAS 驾驶员可用性监测的告警链路,见站内R171 解读);世界模型前瞻是二阶段选项,其增益(漏报 0.0721→0.0510)要以未处理正类上升为代价,适合在拒答预算紧张的平台上后装。VLM 慢分支维持”离线挖掘+兜底复核”定位不变——本篇再次量化了为什么它进不了常开链路。

开放问题: ① 全部结果在 manD 模拟器情绪数据上,真实道路的组漂移只会更大,换库复现是该方向第一优先级;② “生理缺失反而最好”尚未有机制解释,需要逐样本归因;③ 标签构建细节论文未给出,场景共线性到底占多大比重,需要用 manD 的原始场景元数据复算;④ 预印本未见 venue 与代码,复现门槛目前偏高。

参考

  1. Qiu, D., Chi, H., Su, H., Long, S., Miao, X., Dong, Y., & Zhang, W. (2026). Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling. arXiv:2606.26922. https://arxiv.org/abs/2606.26922 (全文 HTML:https://arxiv.org/html/2606.26922v1)
  2. Dargahi Nobari, K., & Bertram, T. (2024). manD 1.0: A multimodal driver monitoring benchmark dataset for driver modeling in assisted driving automation. Scientific Data, 11, 327. https://doi.org/10.1038/s41597-024-03137-y(数据:Harvard Dataverse,https://doi.org/10.7910/DVN/SG9TMD)
  3. 站内关联:集合式认知状态估计精读(2608.02308)、PhysAgent 多智能体 rPPG 仲裁精读(2608.00066)、HCBF 部署感知基准解读(2606.08123)、Köning 方差分解精读(2607.16847)、R171 DCAS 驾驶员可用性解读