fNIRS + EEG 多模态认知负荷检测：驾驶模拟器研究新进展
发布日期： 2026-04-07
分类： 前沿研究、认知负荷、多模态融合
关键词： fNIRS、EEG、认知负荷、驾驶模拟器、深度学习
研究背景：认知负荷检测的多模态趋势
认知负荷检测是驾驶安全的核心挑战之一。传统的单一模态检测存在局限性：
| 单一模态 |
局限性 |
| 行为指标 |
滞后、不直接 |
| 眼动指标 |
受光照、遮挡影响 |
| 单一 EEG |
信号噪声大、个体差异 |
| 单一 fNIRS |
时间分辨率低 |
多模态融合正在成为趋势，结合不同传感器的优势。
MDPI Sensors 2025 研究：fNIRS + EEGNet
研究概述
2025 年 8 月发表于 MDPI Sensors 的研究《Advancing Cognitive Load Detection in Simulated Driving Scenarios Through Deep Learning and fNIRS Data》：
- 设备： fNIRS（功能性近红外光谱）
- 被试： 24 名驾驶员
- 任务： 驾驶模拟 + 三种分心任务
- 算法： EEGNet 深度模型（适配 fNIRS）
关键发现
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
| ┌─────────────────────────────────────────────────────────────┐
│ fNIRS 认知负荷检测结果 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 检测维度： │
│ • 低负荷 vs 高负荷 │
│ • 不同分心类型区分 │
│ │
│ 性能指标： │
│ • 准确率：85
│ • 实时性：秒级响应 │
│ │
│ 优势： │
│ • 对运动伪影更鲁棒 │
│ • 比 EEG 更舒适的佩戴体验 │
│ • 可与 EEG 融合提升精度 │
│ │
└─────────────────────────────────────────────────────────────┘
|
fNIRS vs EEG 对比
技术原理
| 技术 |
原理 |
测量内容 |
| EEG |
头皮电信号 |
神经元放电活动 |
| fNIRS |
近红外光吸收 |
脑血流氧合变化 |
性能对比
| 维度 |
EEG |
fNIRS |
| 时间分辨率 |
高（毫秒级） |
中（秒级） |
| 空间分辨率 |
低 |
中高 |
| 运动鲁棒性 |
低 |
高 |
| 佩戴舒适度 |
低 |
中 |
| 成本 |
中高 |
中 |
| 隐私接受度 |
低 |
中 |
融合优势
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| ┌─────────────────────────────────────────────────────────────┐
│ fNIRS + EEG 融合优势 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 时间维度： │
│ • EEG 提供毫秒级快速响应 │
│ • fNIRS 提供稳态负荷估计 │
│ │
│ 空间维度： │
│ • fNIRS 提供更好的脑区定位 │
│ • EEG 提供全脑覆盖 │
│ │
│ 鲁棒性： │
│ • fNIRS 对运动伪影更鲁棒 │
│ • EEG 对快速变化更敏感 │
│ │
│ 融合效果： │
│ • 准确率提升 5-10
│ • 假阳性显著降低 │
│ │
└─────────────────────────────────────────────────────────────┘
|
EEGNet 在 fNIRS 上的应用
网络架构
EEGNet 原为 EEG 设计，研究将其适配于 fNIRS：
1
2
3
4
5
6
7
8
9
10
11
| 输入层（fNIRS 信号）
↓
时间卷积层（提取时域特征）
↓
深度卷积层（提取空间特征）
↓
分离卷积层（降低参数量）
↓
全连接层
↓
输出层（认知负荷分类）
|
适配要点
| 原始 EEGNet |
fNIRS 适配 |
| EEG 通道数 |
fNIRS 通道数 |
| 高采样率（250Hz） |
低采样率（10-50Hz） |
| 电极位置 |
光极位置 |
| 信号预处理 |
去除运动伪影 |
对驾驶模拟器研究的启示
1. 数据采集策略
| 数据类型 |
采集设备 |
频率 |
| 驾驶行为 |
模拟器日志 |
60Hz |
| 眼动数据 |
眼动仪 |
120Hz |
| EEG |
脑电帽 |
250Hz |
| fNIRS |
近红外设备 |
50Hz |
2. 实验设计建议
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
| ┌─────────────────────────────────────────────────────────────┐
│ 驾驶模拟器认知负荷实验设计 │
├─────────────────────────────────────────────────────────────┤
│ │
│ 任务类型： │
│ • 基线驾驶（低负荷） │
│ • + 心算任务（认知负荷） │
│ • + 手机交互（视觉+认知分心） │
│ • + 乘客对话（认知分心） │
│ │
│ 场景设计： │
│ • 高速公路（单调、易疲劳） │
│ • 城市道路（复杂、高负荷） │
│ • 夜间驾驶（视觉受限） │
│ │
│ 数据同步： │
│ • 统一时间戳（LSL 协议） │
│ • 多模态对齐 │
│ │
└─────────────────────────────────────────────────────────────┘
|
对 IMS 开发的启示
1. 短期（2026-2027）
| 策略 |
说明 |
| 不引入神经传感器 |
成本和接受度问题 |
| 利用现有 DMS 信号 |
眼动 + 驾驶行为 |
| 建立认知负荷模型 |
基于行为指标推断 |
2. 中期（2028-2030）
| 策略 |
说明 |
| 可穿戴设备数据接入 |
智能手表、耳机 |
| 多模态融合框架 |
支持外部设备数据 |
| 认知负荷专用模块 |
独立于疲劳/分心 |
3. 长期（2030+）
| 策略 |
说明 |
| 车载神经传感器 |
法规驱动 |
| 实时认知负荷监测 |
毫秒级响应 |
| 与 ADAS 深度集成 |
认知状态触发的干预 |
4. 技术储备
| 储备方向 |
具体内容 |
| 算法研究 |
EEGNet、多模态融合 |
| 数据采集 |
驾驶模拟器实验 |
| 供应商合作 |
fNIRS/EEG 设备厂商 |
| 法规跟踪 |
Euro NCAP 认知分心相关 |
行业趋势
学术研究热点
| 方向 |
论文数量趋势 |
| 多模态融合 |
↗️ 快速增长 |
| 深度学习应用 |
↗️ 快速增长 |
| 驾驶场景应用 |
↗️ 稳定增长 |
| 实时检测 |
↗️ 快速增长 |
产业应用前景
| 时间节点 |
应用状态 |
| 2025 |
实验室研究 |
| 2028 |
高端车型试点 |
| 2030+ |
法规驱动普及 |
参考文献
- MDPI Sensors (2025). Advancing Cognitive Load Detection in Simulated Driving Scenarios Through Deep Learning and fNIRS Data.
- bioRxiv (2026). Predicting driver distraction using a single channel ear EEG.
- Nature Scientific Reports (2025). Real-time driver drowsiness detection using transformer architectures.
总结
fNIRS + EEG 多模态认知负荷检测代表了神经科学在驾驶安全领域的前沿应用：
- 📊 fNIRS 优势 - 运动鲁棒、佩戴舒适
- 📊 EEG 优势 - 时间分辨率高、快速响应
- 📊 融合价值 - 准确率提升、假阳性降低
- 📊 应用前景 - 中长期有望成为车载配置
对 IMS 团队的建议：
- 关注神经传感器技术进展
- 开展驾驶模拟器多模态数据采集
- 建立认知负荷检测算法储备
- 设计支持外部设备接入的架构接口
本文基于 MDPI Sensors 2025 研究及行业学术文献撰写，仅供技术交流参考。