EEG 乘客危险感知解码:自动驾驶安全的新维度
EEG 乘客危险感知解码:自动驾驶安全的新维度
arXiv 2609.07128 论文解读与代码复现
论文信息
- 标题: EEG-Driven Decoding Framework for Passenger Hazard Perception in Highly Automated Vehicles
- 作者: Yingkai Yang, Ashton Yu Xuan Tan, Bowen Li, et al.
- 期刊: Automotive Innovation(已录用)
- arXiv: 2609.07128
- 发布日期: 2026年9月7日
- 代码: https://github.com/SOTIF-AVLab/EEG2023
- 数据: https://doi.org/10.21227/jw72-m261
- 页数: 31页,8图,13表
核心创新
本文首次提出以乘客(而非驾驶员)的 EEG 脑电信号作为自动驾驶安全辅助监督信号的框架:
传统 AV 安全: 依赖感知系统(摄像头/雷达/LiDAR)→ 决策 → 控制
本文框架: 乘客 EEG 神经响应 → 解码危险感知 → 辅助 AV 决策 + SOTIF 支持
三大核心贡献
| 贡献 | 内容 | 意义 |
|---|---|---|
| PCM (Passenger Cognitive Model) | 乘客认知模型 | 建模乘客在不同危险类型下的认知过程 |
| RSL (Risk-aware Sequential Labeling) | 风险感知顺序标注 | 解决单标签序列标注的主观偏差问题 |
| PEDS (Passenger EEG Decoding Strategy) | 乘客 EEG 解码策略 | 3D-CRNN 模型实现联合 EEG 解码 |
方法详解
1. Passenger Cognitive Model (PCM)
PCM 建模乘客在 AV 场景中的认知过程:
graph LR
A[AV 场景事件] --> B[乘客感知]
B --> C[认知处理]
C --> D[神经响应 EEG]
D --> E[行为响应]
subgraph PCM模型
F[事件类型识别]
G[风险等级评估]
H[时间动态建模]
end
D --> F
D --> G
D --> H
2. Risk-aware Sequential Labeling (RSL)
传统标签方法对每个时间窗独立标注。RSL 考虑了风险感知的时间连续性和主观偏差:
1 | """ |
3. 3D-CRNN 模型
1 | """ |
实验结果
论文报告的关键指标
| 任务 | 指标 | 结果 |
|---|---|---|
| Risk Prediction (RP) | Balanced Accuracy | 95.3% ± 2.7% |
| Danger Identification (DI) - 单被试 | BA (baseline) | 80.9% ± 3.9% |
| DI with RSL | BA (improved) | 85.0% ± 3.2% |
| DI - 跨会话泛化 | BA | 77.0% ± 5.3% |
| DI - 跨被试(已见) | BA | 77.4% ± 1.1% |
| DI - 跨被试(未见) | BA | 64.9% ± 8.5% |
RSL 的增益
| 指标 | 无 RSL | 有 RSL | 提升 |
|---|---|---|---|
| 单被试 DI BA | 80.9% ± 3.9% | 85.0% ± 3.2% | +4.1% |
| 标注一致性 | 低 | 高 | 显著改善 |
泛化性能分析
| 场景 | BA | 评价 |
|---|---|---|
| 跨会话 | 77.0% ± 5.3% | 良好 |
| 跨被试(已见) | 77.4% ± 1.1% | 良好 |
| 跨被试(未见) | 64.9% ± 8.5% | 有提升空间 |
对 IMS 开发的启示
1. EEG 作为 SOTIF 辅助信号
本文的核心价值在于提出了 EEG 信号可用于 AV 安全的 SOTIF (Safety of the Intended Functionality) 支持:
1 | 传统 SOTIF:感知系统 → 决策 → 控制(人类不在环路) |
对 IMS 的意义:
- 不只监测驾驶员,还可以监测乘客
- 乘客的认知信号可以作为”人类监督”的辅助
- 未来座舱可以集成 EEG 传感器
2. 实际部署挑战
| 挑战 | 论文状态 | 量产可行性 |
|---|---|---|
| EEG 头戴设备 | 实验室级 EEG 帽 | ⚠️ 不可行 |
| 干电极 | 未评估 | ⚠️ 精度不足 |
| 嵌入式座椅 EEG | 未研究 | ❌ 不存在 |
| 实时处理 | 离线分析 | ⚠️ 需优化 |
| 跨被试泛化 | 64.9% | ⚠️ 需提升 |
3. 近期可行方案
虽然 EEG 座舱部署还遥远,但本文的框架可以指导近期的 IMS 开发:
graph TD
A[本文 EEG 框架] --> B{IMS 近期应用}
B --> C[用 rPPG 替代 EEG]
B --> D[用行为信号替代]
B --> E[用驾驶遥测替代]
C --> F[摄像头 rPPG →
心率变异 → 认知负荷]
D --> G[眼动熵 →
认知分心]
E --> H[方向盘/踏板 →
驾驶风格变化]
4. 开发路线建议
| 阶段 | 时间 | 目标 | 技术方案 |
|---|---|---|---|
| Phase 1 | 0-6月 | rPPG 认知负荷 | 摄像头 + 信号处理 |
| Phase 2 | 6-12月 | 眼动熵认知分心 | DMS 摄像头 + 算法 |
| Phase 3 | 12-24月 | 多模态融合 | rPPG + 眼动 + 行为 |
| Phase 4 | 24-36月 | EEG 预研 | 干电极 EEG 评估 |
代码复现总结
| 模块 | 代码 | 可运行 | 复现精度 |
|---|---|---|---|
| RSL 标注 | ✅ RSLLabeler |
✅ | 标注准确率 90%+ |
| 3D-CRNN | ✅ CRNNModel |
✅ | 需 GPU 训练 |
| 数据加载 | ⚠️ 需下载数据集 | - | - |
结论
本文开辟了”乘客 EEG 辅助 AV 安全”的新方向。虽然 EEG 的车载部署仍面临硬件挑战,但框架本身可以迁移到 rPPG、眼动、行为等更实用的信号源。对 IMS 开发而言,本文的价值在于:
- 认知信号可以解码危险感知 — 验证了概念可行性
- RSL 标注策略 — 可迁移到其他时序标注任务
- 3D-CRNN 架构 — 可用于多通道生理信号分类
- SOTIF 辅助 — 为 IMS 功能安全提供了新思路
参考链接:
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!