DGNN + 单目 RGB 列车驾驶员三态识别精读:99.4% 警觉二分类的另一面,是 emergency 类 56%–64% 的召回盲区

意大利技术研究院(IIT)HRI² 实验室把列车驾驶员状态分成三类——alert(警觉)/ not alert(非警觉)/ pathological(病理性急症),用一台前置 RGB 摄像头加一个定制定向图神经网络(DGNN)做识别:警觉/非警觉二分类在三种光照下拿到 99.36%,但第三类”驾驶员因突发疾病失去能力(表演晕厥、捂胸)”的召回只有 56.5%–63.9%,而且大量被误判成”打瞌睡”(Nocentini et al., 2025)。2026 年 10 月 5 日,该组把工作扩展成 11 页的新版(arXiv:2610.07083),把第三类改称 emergency 类,并固化了”面部+骨骼关键点组合优于任一单通道”的消融结论。

这篇论文对汽车 DMS 团队的价值不在那个 99%,而在那个 56%:“驾驶员失去响应”和”驾驶员睡着”在纯视觉姿态特征上几乎是同一个东西——身体前倾耷拉、头后仰,两个类共享同一组姿态。这正好砸在汽车行业 2026 年新要求”无响应驾驶员干预”(unresponsive driver intervention)的技术要害上:你的 DMS 输出接口如果只有”疲劳等级”,就没法告诉 ADAS 控制器该唤醒还是该执行最小风险机动;而只用单帧姿态去判”无响应”,会把心梗和瞌睡混成一类。

本文为 A 型(论文深读)。信源:2025 版论文全文 PDF(arXiv:2505.08800,8 页,逐页精读)、2026 扩展版摘要与元数据页(arXiv:2610.07083,仅精读摘要页——扩展版 PDF 超出抓取工具大小限制,其正文数字未核对,文中相应数字均已标注”出自摘要”)。所有数字均来自上述原文;两篇论文均为本文作者直接抓取阅读,非转述。

背景:它解决的问题——dead-man 踏板与”二分类天花板”

铁路驾驶员疲劳监控长期靠 dead-man 开关(死人开关):驾驶员必须周期性踩下踏板确认警觉,超时未踩则报警乃至停车。论文开篇的评价是它”确保了基本的警觉水平,但给驾驶员施加了认知与身体负担,可能导致不适与运营低效”(Nocentini et al., 2025)。频率问题也很实际:论文引 AA Charitable Trust 的研究称,八分之一的驾驶员承认在方向盘上睡着,近五分之二承认累到”担心撑不到终点”(DB ESG 报告,转引自 arXiv:2505.08800)。

为什么不能直接抄汽车 DMS?论文第 2 节给了一组铁路特有的约束,这组约束本身就是跨域移植时的”环境差异清单”:

已有工作的状态,论文 Table I 汇总得很清楚:列车驾驶员监控基本停在”二分类(醒/睡)+ 单一光照条件”的天花板下,通道上大多只取面部或只取骨骼(Chen 2023 是唯一的三类尝试)——

来源:arXiv:2505.08800 Table I。

两个被既有工作系统性忽视的缺口,是这篇论文立题的关键。缺口一:没有病理状态类——驾驶员可能眼睛睁着、看似清醒,实则因短暂性脑缺血发作(transient ischemic attack)或神经损伤失去能力,这与”可被短暂休息缓解的困倦”需要完全不同的干预速度。缺口二:not alert 与 pathological 必须分开——论文原话:”一声简单的鸣响就能唤醒非警觉驾驶员,而病理状态需要立即的紧急干预”(Nocentini et al., 2025)。这两个缺口,恰好对应汽车侧 UN R171 把”驾驶员持续可用性”写成 DCAS 准入条件后,DMS 输出接口必须回答的问题(本站 UN R171 深度解读)。

核心机制:46 个关键点构建有向图,DGNN 做时空分类

管线全景

flowchart LR
    A["单目前置 RGB 摄像头<br/>RealSense D435i<br/>30 fps · 640×480"] --> B["YOLOv8<br/>上身 11 个骨骼关键点"]
    A --> C["MediaPipe Face Mesh<br/>35 个面部关键点"]
    B --> D["缺失关键点处理<br/>用前 10 帧均值填充(不置零)"]
    C --> D
    D --> E["46 节点有向图<br/>骨头=边 · 鼻子=起点<br/>按鼻位归一化"]
    E --> F["定制 DGNN<br/>2×GT 块(DGN+Bi-TC)<br/>lookback 15 帧"]
    F --> G&#123;"三分类"&#125;
    G --> H["alert"]
    G --> I["not alert<br/>→ 声音唤醒即可"]
    G --> J["pathological<br/>→ 立即紧急干预"]

来源:arXiv:2505.08800 Fig. 1 与第 II 节,本文重绘。

关键点与图构建:为什么是 11+35

骨架通道只取 YOLOv8 全身 33 个关键点中的上身 11 个——理由很直接:列车驾驶员坐在椅子上、面向仪表台,下半身全程不可见也不携带状态信息(面部通道同理:YOLOv8 只给左右眼 2 个面部点,不够用,所以并上 MediaPipe Face Mesh 的 35 个点,补齐眉弓、眼开合、嘴部轮廓)(Nocentini et al., 2025)。46 个节点用骨头连成边、以鼻子为起点构成有向图,全部坐标按鼻位归一化——这一步同时消掉了相机与人的相对位置变化,这也是后文”驾驶员身体前后移动依然稳”的结构性原因。

一个值得抄的工程细节:缺失关键点不置零,而是用前 10 帧均值填充。论文明确说这是为了应对低光照下检测器输出不稳定——置零会给图注入虚假的”坍缩到原点”模式,而滑动均值把单帧检测失败平滑成短暂的特征保持。汽车舱内 IR 补光不足或戴墨镜场景下,这个选择的代价收益值得在自己的数据上量化验证。

DGNN 架构与定制点

网络基础是 Shi et al. 的骨架动作识别定向图神经网络(CVPR 2019,即 2s-AGCN 一系,转引自 arXiv:2505.08800 [30]),两个 Graph-Temporal(GT)块串联:每个 GT 块 = 一个 DGN 块(按有向连接矩阵聚合入边/出边信息,更新节点与边特征)+ 一个 Bi-Temporal 卷积(Bi-TC,沿时间维卷积);第一个 GT 块扩特征维,第二个 GT 块时间卷积 stride=2 降时序分辨率、抽层级特征。超参数:学习率 0.001、60 epochs、batch 1024、Adam、lookback 15 帧(30 fps 下约 0.5 秒时间窗,估算)、dropout p=0.7、LeakyReLU、Label Smoothing。

相对原版 DGNN 的四处定制,全部指向”小数据集+噪声关键点”的适配,这个适配清单对任何想在小数据舱内数据上训练图网络的团队都是模板:

数据集:3 状态 × 3 光照

数据在 IIT HRI² 实验室采集,伦理批件 Protocol IIT_HRI_ERGOLEAN 156/2020(热那亚 ASL 3 批准);被试为学生与研究人员,训练集 18 人、测试集 2 人(未参与训练),共 11 男 9 女、23–36 岁、8 人戴眼镜。每人 9 段视频、每段 2 分 30 秒:前 3 段 alert、中 3 段 not alert、后 3 段 pathological;每段在三种光照下各录一遍——light(4 灯全开)、dark(全关)、sudden light/dark(每 15 秒开关一次,模拟隧道进出)。设备:前置 RealSense D435i,30 fps,640×480;训练用 Tesla V100-SXM2-16G。

三类状态的操作化定义值得逐条看,因为每一类都是一个”干预链路设计输入”:

实验与证据:99.36% 与 80.88%,以及被混淆的 emergency 类

主结果与消融

二分类(alert/not alert)全身关键点配置 99.36%,覆盖三种光照;三分类 80.88%(light,最高)。消融(Table II)给出了一个方向性很强的结论:

来源:arXiv:2505.08800 Table II。

两条规律:其一,面部通道在 dark 条件掉 6 个点(76.33→70.33),骨骼通道几乎不动(64.36→66.56)——低光照下面部检测质量劣化,而大尺度身体姿态对光照不敏感;其二,任一单通道都到不了组合上限,三行里组合配置全部最高。论文的结论是面部信息(眼/嘴开合、眉弓、面部轮廓)与骨骼姿态互补,不是二选一。

混淆矩阵:盲区全在 pathological

三分类混淆矩阵(行=真实类,列=预测类,%,全身关键点):

来源:arXiv:2505.08800 Fig. 5。

警觉类的召回在三种光照下都稳定在 95 以上,但 pathological 类有 23%–31% 被判成 not alert。论文自己给出的解释很坦率:数据采集时就观察到,部分被试在病理事件和瞌睡两种状态下采用几乎相同的全身姿态——同样向前瘫倒、同样头后仰,”网络难以区分”。这不是标注错误,而是单帧/短窗姿态特征对该二分问题的信息论瓶颈:身体”垮掉”是两类共享的下游表现。

还有一个容易被忽略的信号:dark 条件下 not alert 有 28.18% 被误判成 pathological(其他光照下也有 10%–20%)。对安全设计而言,这个方向的混淆比反向更危险——把睡着的人误判为急症发作,触发的是最高等级的紧急干预。任何”无响应=急症”的自动升级逻辑,都必须把”普通瞌睡”作为最大混淆源来压误报。

Occlusion Sensitivity:三类状态各自依赖什么特征

遮挡敏感度分析(逐关键点遮蔽后观察预测退化)显示三类状态的特征依赖模式截然不同:alert 状态下骨骼与面部关键点都有大量高峰(姿态与表情共同编码警觉);not alert 呈均匀分布且面部权重更高(眼睑下垂、头部姿态是关键指标);pathological 呈散点分布、少数特定峰值——模型依赖特定面部与上肢特征捕捉”身体怪异姿态”。这张特征依赖图谱,本质上就是三类各自的”证据清单”,可反哺告警逻辑的可解释性设计。

2026 扩展版(arXiv:2610.07083)的增量

2026 年 10 月 5 日提交的新版共 11 页、5 图,从摘要可确认的增量如下(注意:以下数字均出自摘要,扩展版正文未核对):

两版数字几乎持平(80.88→81,99.36→99),说明新版主要价值在固化表述与完整化实验,而非性能跃升。对关注这条线的人,2025 版全文仍是信息量最大的一手材料。

与已有方案的关系:这条线在铁路 DMS 版图里的位置

把这条线放进更大的铁路座舱研究图景:多通道生理路线(HRV+呼吸率,实测发现自主通道最可落地)已由 Bosch et al. 2026 完成”仿真到实景”的验证(本站精读);行为视觉路线(本文,YOLOv8+Face Mesh+DGNN)在”非接触、可后装”上有优势,但要吃下光照波动;而这条线共同面对的问题是跨被试泛化与生态效度——本文测试集仅 2 人、状态全部为表演,而航空侧的同型研究已经证明,不经过跨被试验证的警觉性模型到真实班次上是另一回事(本站 Kamrud 2021 精读)。

对 IMS 团队的启示

1. 三态输出接口,而不是疲劳等级。not alert 与 emergency 的干预链完全不同(唤醒 vs 紧急制动/MRM),UN R171 的”持续可用性”已经把 DMS 变成 DCAS 的决策输入。你的输出接口至少要有:警觉状态离散值 + “无响应待定”中间态 + 各自置信度,让下游仲裁器决定升级路径(R171 深读)。
2. “无响应的原因”不能靠单视觉通道判。本文混淆矩阵是直接证据:姿态坍缩在”睡着”与”急症”间共享,召回只有 56%–64%,且反向误报(瞌睡→急症)高达 10%–28%。汽车侧更现实的结构是:视觉判”失去响应”,再由系统主动探针(车道微扰确认、人机交互请求)或生理通道判”为什么无响应”。dead-man 踏板其实就是一个低频物理探针——视觉 DMS + 交互探针的融合,比纯视觉三分类更接近可部署形态。
3. 三光照测试集设计可直接搬进验证计划。light/dark/15 秒周期突变的三档设计,对应汽车侧的地库、夜间、隧道/树荫高频明暗;面部通道在 dark 掉 6 个点而骨骼通道稳健,提示舱内 IR 补光质量要按”面部关键点检测可用性”单独验收,而不是只看整机指标。
4. 缺失关键点填充策略进消融清单。前 10 帧均值填充 vs 置零,是低光照鲁棒性的一个零成本设计点,建议在自家数据上补一组对照。
5. 边缘部署的含义。46 节点图 + 0.5 秒 lookback 的计算量,远低于端到端视频 Transformer;关键点级特征天然低带宽,适合”检测在前端、图网络在中控”的分布式舱内架构。本文用的是 V100 训练,但推理形态的关键点+GNN 在 NPU 上是可量化的轻量级——这正是它相对端到端方案的结构性优势。
6. 不要外推它的数字。18 人训练 + 2 人测试、表演式状态、受控实验室光照——这个规模只能支撑”方法可行性”,三分类 80.88% 与 pathological 召回 56% 的绝对值都不能当量产预期。跨被试泛化(leave-subjects-out)在这个数据规模下根本没被真正检验,这是它和昨天 EEG 文里”诚实基线”之间的共同缺口。

路线判断

我的判断:关键点图网络这条线在铁路/卡车/工程机械这类”上半身姿态承载主要状态信息”的舱型里会先落地——座舱宽、相机远、姿态变化大,46 点图的带宽与算力优势真实存在;而轿车 DMS 的主流仍会是人脸特写+视线+微表情,因为轿车相机距离近、面部分辨率高,信息密度天然在脸上。至于 emergency 类检测,我认为 2027 前不会有任何量产方案敢宣称”纯视觉分辨瞌睡与急症”——本文的混淆矩阵就是最好的反面证据;可部署的中间形态是”视觉无响应检测 + 系统探针确认”两级结构,这也与 UN R157/R171 的 MRM 触发逻辑在架构上对齐。铁路侧把 pathological 单列成一个类的这个动作本身,值得汽车侧的 DMS 接口设计者抄走。

参考

1. Nocentini, O., Lagomarsino, M., Solak, G., Cho, Y., Tong, Q., Lorenzini, M., Ajoudani, A. Graph-based Online Monitoring of Train Driver States via Facial and Skeletal Features. arXiv:2505.08800, 2025. https://arxiv.org/abs/2505.08800 (全文精读)
2. Nocentini, O., Lagomarsino, M., Solak, G., et al. Graph-Based Recognition of Simulated Train-Driver States From Facial and Upper-Body Keypoints. arXiv:2610.07083, 2026. https://arxiv.org/abs/2610.07083 (摘要页精读,正文未核对)
3. Shi, L., Zhang, Y., Cheng, J., Lu, H. Skeleton-based Action Recognition of Directed Graph Neural Networks. CVPR 2019. (DGNN 基础架构,转引自 [1] 文献 [30])
4. Hughes, D. The impact of fatigue on driving safely in the train driver perspective. DB ESG / AA Charitable Trust. (铁路驾驶员疲劳统计数据,转引自 [1] 文献 [2])
5. 本站:UN R171 (DCAS) 深度解读:驾驶员持续可用性如何把 DMS 写进组合辅助驾驶的准入条件. 站内文件:/blog-posts/2026-10-15-014-unece-r171-dcas-driver-availability-dms-2026.md
6. 本站:Bosch et al. 2026 铁路驾驶员多传感器疲劳实测精读. 站内文件:/blog-posts/2026-10-08-001-multisensor-train-driver-fatigue-arxiv2026.md
7. 本站:Kamrud 2021 跨被试 EEG 警觉性检测诚实基线精读. 站内文件:/blog-posts/2026-10-26-kamrud-2021-cross-participant-eeg-vigilance-honest-baseline-dms.md