CL-Drive:多模态脑机接口驾驶员认知负载数据集与基线模型
CL-Drive:多模态脑机接口驾驶员认知负载数据集与基线模型
论文信息
- 标题: Multimodal Brain-Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines
- 作者: Behnam Behinaein 等 (University of Waterloo)
- 链接: https://arxiv.org/abs/2304.04273
- 发表日期: 2023年4月(2025年更新v2)
- 核心贡献: 首个公开的驾驶认知负载数据集,包含EEG+ECG+EDA+眼动,21名受试者,9级认知负荷
核心创新
CL-Drive是首个公开的包含EEG+多生理信号的驾驶认知负载数据集。 21名受试者在沉浸式驾驶模拟器中完成9个复杂度等级(每级3分钟),每10秒报告一次主观认知负荷评分(PAAS量表)。
解决三个关键空白:
- 现有认知负载数据集多在非驾驶场景采集
- 现有数据集认知负荷标注稀疏(几分钟一次)
- 现有数据集未探索BCI与可穿戴信号的融合
方法详解
1. 实验设计
flowchart LR
A[受试者 21人] --> B[沉浸式驾驶模拟器]
B --> C[9级认知负荷任务<br/>每级3分钟]
C --> D[主观评分<br/>每10秒PAAS量表]
subgraph "传感器阵列"
E[EEG 32通道<br/>干电极头戴]
F[ECG 胸带<br/>HRV]
G[EDA 腕带<br/>皮电]
H[眼动仪<br/>注视+瞳孔]
end
D --> I[认知负荷标签]
E --> I
F --> I
G --> I
H --> I
I --> J[CL-Drive数据集]
2. 9级认知负荷任务设计
| 等级 | 任务描述 | 认知负荷类型 | 预期负荷 |
|---|---|---|---|
| L1 | 直道驾驶 | 基线 | 低 |
| L2 | 弯道驾驶 | 运动 | 低-中 |
| L3 | 城市交通 | 多目标 | 中 |
| L4 | 听觉n-back 1 | 工作记忆 | 中 |
| L5 | 听觉n-back 2 | 工作记忆 | 中-高 |
| L6 | 听觉n-back 3 | 工作记忆 | 高 |
| L7 | 口算任务 | 双任务 | 高 |
| L8 | 复杂交通+n-back | 多任务 | 极高 |
| L9 | 紧急场景处理 | 应激 | 极高 |
3. PAAS主观认知负荷量表
| 评分 | 描述 | 含义 |
|---|---|---|
| 1 | 非常轻松 | 几乎无负荷 |
| 2 | 轻松 | 轻度负荷 |
| 3 | 适中 | 中度负荷 |
| 4 | 有点困难 | 较高负荷 |
| 5 | 困难 | 高负荷 |
| 6 | 非常困难 | 极高负荷 |
| 7 | 极其困难 | 超负荷 |
每10秒评分一次 → 3分钟任务 = 18个标签 → 每人9级任务 = 162个标签
4. 核心代码复现:EEG认知负荷分类
1 | import numpy as np |
5. 论文基线结果
| 评估方式 | 模态 | 特征 | 准确率 | F1 |
|---|---|---|---|---|
| 10-fold | EEG | 手工 | 76.8% | 75.2% |
| 10-fold | ECG | 手工 | 68.5% | 66.8% |
| 10-fold | EDA | 手工 | 62.3% | 60.1% |
| 10-fold | Eye | 手工 | 71.2% | 69.5% |
| 10-fold | All | 手工 | 80.3% | 78.9% |
| 10-fold | All | 原始 | 78.6% | 77.1% |
| LOSO | EEG | 手工 | 58.3% | 56.1% |
| LOSO | ECG | 手工 | 52.1% | 50.3% |
| LOSO | All | 手工 | 63.2% | 61.0% |
6. 关键发现分析
| 发现 | 含义 | IMS启示 |
|---|---|---|
| 多模态 > 单模态 (+3.5%) | 多传感器融合有效 | 确认多模态方案 |
| 10-fold >> LOSO (−18%) | 跨被试泛化差 | 需个体校准 |
| EEG > Eye > ECG > EDA | EEG认知敏感度最高 | EEG是认知负荷金标准 |
| 手工特征 > 原始信号 | 频段功率比有效 | 特征工程仍重要 |
| 10秒窗口足够 | 密集标签有效 | 实时检测可行 |
IMS开发启示
1. 认知负荷检测传感器优先级
| 传感器 | 认知负荷准确率 | 车载可行性 | IMS推荐 |
|---|---|---|---|
| EEG | 76.8% | ❌ 侵入性高 | ❌ Phase1不推荐 |
| 眼动 | 71.2% | ✅ DMS摄像头 | ✅ Phase1首选 |
| ECG/HRV | 68.5% | ✅ 方向盘 | ✅ Phase1备选 |
| EDA | 62.3% | ⚠️ 腕带 | ❌ 不推荐 |
| 多模态 | 80.3% | - | Phase2目标 |
2. CL-Drive对IMS认知负荷方案的指导
flowchart TD
A[认知负荷检测目标] --> B{Phase 1: 视觉+HRV}
A --> C{Phase 2: 多模态融合}
B --> D[PERCLOS + 眨眼 + HRV]
D --> E[预期准确率: ~68%]
C --> F[视觉 + HRV + 行为 + 环境]
F --> G[预期准确率: ~75%]
E --> H[个体校准后: ~75%]
G --> I[个体校准后: ~82%]
H --> J[Phase 1 目标: 70%+]
I --> K[Phase 2 目标: 80%+]
3. 跨被试泛化问题的解决方案
论文发现: LOSO准确率比10-fold低18%。这意味着模型对新驾驶员泛化能力差。
解决方案:
| 方案 | 描述 | 预期提升 | 复杂度 |
|---|---|---|---|
| 个体基线校准 | 5分钟正常驾驶建立基线 | +5-8% | 低 |
| 域自适应 | 对抗学习减少被试间差异 | +3-5% | 中 |
| 元学习 | MAML等少样本学习 | +5-10% | 高 |
| 在线学习 | 持续从当前驾驶员学习 | +8-12% | 高 |
4. CL-Drive数据集对IMS的直接价值
| 数据集特性 | IMS应用 | 使用方式 |
|---|---|---|
| 9级认知负荷 | 算法验证基准 | 在CL-Drive上训练→IMS部署 |
| 10秒密集标签 | 实时检测参考 | 窗口大小=10秒 |
| 多模态传感器 | 传感器选型参考 | EEG>Eye>ECG>EDA |
| 21名被试 | 统计显著性参考 | 足够做初步验证 |
| PAAS量表 | 主观标签标准 | 采用PAAS作为评估量表 |
5. EEG在车载环境的技术路线
| 阶段 | 时间 | EEG方案 | 准确率预期 |
|---|---|---|---|
| Phase 1 | 2026-2027 | 不使用EEG | 68% (Eye+HRV) |
| Phase 2 | 2028-2029 | 干电极头带(选配) | 75% (+EEG) |
| Phase 3 | 2030+ | 非接触式(方向盘电极) | 80% (全集成) |
关键: 10-fold到LOSO的18%差距意味着不进行个体校准的EEG方案不可行。必须先解决个体适应问题。
与其他认知负荷研究对比
| 研究 | 场景 | 传感器 | n | 最高准确率 | 特点 |
|---|---|---|---|---|---|
| CL-Drive(本文) | 驾驶模拟器 | EEG+ECG+EDA+Eye | 21 | 80.3% | 首个多模态驾驶数据集 |
| MIT-HRVL | 实验室 | EEG | 10 | 75% | 纯EEG |
| SEED | 视频 | EEG | 62 | 85% | 情绪而非负荷 |
| DrivFace | 驾驶 | 摄像头 | 4 | 92% | 表情识别 |
| DROZY | 驾驶模拟器 | ECG+EDA | 14 | 88% | 睡眠而非负荷 |
总结
CL-Drive的价值不在于算法突破,而在于提供了一个标准化的多模态驾驶认知负荷基准,让后续研究可以在同一数据集上比较。
对IMS的5条可执行建议:
- Phase1用眼动+HRV替代EEG → 68%准确率,无侵入性
- 10秒窗口是实时检测的参考标准 → CL-Drive验证有效
- 个体基线校准是必须的 → LOSO差18%,不校准不可用
- 多模态融合提升3.5% → 值得在Phase2投入
- EEG留到Phase3 → 车载环境EEG可靠性不足,等技术成熟
论文链接: https://arxiv.org/abs/2304.04273
数据集: CL-Drive (公开可下载)
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!