低光照驾驶员睡意检测：双注意力机制+XAI可解释深度学习——隧道/夜间实时安全保障

论文信息

项目 内容
标题 Low-light driver drowsiness detection for real-time safety assistance using dual attention mechanisms in deep learning model
期刊 Scientific Reports (Nature)
发表 2026年4月20日
链接 https://www.nature.com/articles/s41598-026-44442-3
核心方法 微调LLFormer低光增强 + ResNet-50/InceptionV3双注意力CNN + Grad-CAM等多方法XAI
场景 低光照/夜间/隧道

核心创新

  1. 双注意力机制：空间注意力(SAM)+通道注意力(CAM)组合为SCAM，低光照下聚焦关键面部区域
  2. Grad-CAM等XAI可解释性：热力图显示模型关注区域，并辅以LRP、Integrated Gradients、LIME等多元解释
  3. 低光照专用：微调LLFormer作为低光增强预处理（训练后冻结），针对夜间/隧道光照不足场景优化
  4. 实时部署：Jetson Nano 上实测 25–30 FPS（单帧延迟 27.4 ms），满足边缘推理需求

方法详解

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 示意代码,不可直接运行(仅描述论文流水线结构;原论文未开源,实际实现基于 InceptionV3/ResNet-50/LLFormer 微调)
pipeline = {
    # 阶段1: 低光照增强预处理(训练后冻结,不与检测网络联合优化)
    "enhance": "fine-tuned LLFormer (Retinex思想+轴式多头自注意力, "
               "RMSNorm, MSE+SSIM+边缘损失, 35 epochs)",
    # 阶段2: 特征提取骨干
    "features": "ResNet-50 (DDD/NTHU-DDD2微调) + SCAM双注意力 "
                "(SAM空间注意力:膨胀卷积; CAM通道注意力:GAP/GMP+共享MLP, r=8)",
    # 阶段3: 分类
    "classify": "InceptionV3 (ImageNet预训练微调) + SPP + FC64 + "
                "dropout 0.4 + softmax(3): alert / drowsy / very drowsy",
    # 数据集(统一映射为三分类, 按被试独立80/10/10划分)
    "datasets": ["YAWDD", "DDD", "NTHU-DDD2", "UTA-RLDD", "MRL Eye", "Glasses"],
    # 可解释性: Grad-CAM + LRP + Integrated Gradients + Occlusion Sensitivity + LIME
    "explain": ["Grad-CAM", "LRP", "Integrated Gradients", "LIME"],
}

实验结果

整体与分数据集准确率（原文核对）

摘要报告：即使在眼镜、低光、面部遮挡等挑战性条件下，整体准确率最高达 98.4%。六个数据集上的准确率：

数据集 准确率
YAWDD 97.34%
DDD 98.53%
Glasses 96.18%
MRL Eye 98.12%
NTHU-DDD2 98.23%
UTA-RLDD 97.81%

低光增强效果对比（原文表9，约1500张测试图）

增强方法 MSE（↓） SSIM（↑） PSNR/dB（↑）
微调LLFormer（本文） 24.35 0.76 30.02
RUAS 29.59 0.59 29.02
EnlightenGAN 27.59 0.67 27.61
CLAHE 33.98 0.51 25.02

鲁棒性与边缘部署（原文表11/12）

  • F1-score 0.96（对比 ViT 0.92、Swin 0.93）
  • 误报率 0.21 次/分钟（较 transformer 基线降低约 25–32%）
  • Jetson Nano：25–30 FPS（224×224 实时流式）、单帧延迟 27.4 ms、20.3 GFLOPs、模型内存 52.8 MB、功耗 5.5–7 W
  • 配对 t 检验（K=10/20/30）均显著，多数 p<0.001

Grad-CAM可解释性

原文以 Grad-CAM 热力图及 LRP、Integrated Gradients、Occlusion Sensitivity、LIME 等多方法定性展示模型关注区域（眼睛、眼睑、嘴部等），并从定位准确率、一致性、稳定性三方面评估，但未提供逐状态的量化评分。

（注：本文初稿曾给出按白天/黄昏/夜间/隧道 lux 分档的”传统CNN vs 双注意力”对比表与逐状态可解释性评分表，经与原文核对不存在，已删除。）

IMS开发启示

1. 低光照增强对IMS的价值

场景 问题 本论文方案
夜间驾驶 光照不足 LLFormer光照增强+双注意力
隧道进出 突变光照 鲁棒特征提取
树荫间歇 斑驳光影 通道注意力过滤
驾驶室阴影 面部暗区 空间注意力聚焦

2. XAI满足ISO 26262

要求 本论文方案
模型透明 Grad-CAM热力图
决策可追溯 关注区域可视化
诊断覆盖 识别失败模式

3. 与已有管道集成

组件 来源 角色
低光照增强 本论文 预处理
双注意力 本论文 特征提取
自适应窗口 #13 时间窗口管理
疲劳干预 #15 LLM 干预策略
Grad-CAM 本论文 可解释性

总结

  1. 98.4%整体准确率：六个数据集 96.18%–98.53%，挑战性条件下仍保持高位
  2. 双注意力：SAM+CAM 组合（SCAM），暗光下聚焦眼/嘴关键区域
  3. Grad-CAM可解释：多方法XAI支撑 ISO 26262 功能安全要求
  4. 实时部署：Jetson Nano 25–30 FPS、功耗 5.5–7 W，边缘友好
  5. 与LLM干预闭环：低光照检测→LLM对话干预→效果评估