EEG 乘客危险感知解码框架：3D-CRNN 在自动驾驶 SOTIF 中的辅助监督

论文信息

项目	内容
标题	EEG-Driven Decoding Framework for Passenger Hazard Perception in Highly Automated Vehicles
作者	Yingkai Yang, Ashton Yu Xuan Tan, Bowen Li, Xiaorong Gao, Sifa Zheng, Jianqiang Wang, Xinyu Gu, Yang Zhao, Yuxin Zhang, Sharon X. Huang, Tania Stathaki, Jun Li, Hong Wang
期刊	Automotive Innovation (Accepted)
arXiv	2609.07128
日期	2026-09-07
代码	github.com/SOTIF-AVLab/EEG2023
数据	DOI: 10.21227/jw72-m261

核心创新

论文首次提出基于 EEG 脑机接口的乘客危险感知解码框架，将人类乘客的神经认知信号作为自动驾驶系统的辅助监督源，直接服务于 SOTIF（Safety of the Intended Functionality）安全目标。核心贡献包括：

Passenger Cognitive Model (PCM) — 建模乘客而非驾驶员的认知响应
Risk-aware Sequential Labeling (RSL) — 风险感知的序列标注策略
Passenger EEG Decoding Strategy (PEDS) — 集成 3D-CRNN 的联合 EEG 解码模型

问题定义

传统 DMS/OMS 的局限

传统驾驶员监测系统（DMS）聚焦于驾驶员状态（疲劳、分心），而自动驾驶场景中乘客的认知响应同样携带关键安全信息：

维度	传统 DMS	本文 PCM
监测对象	驾驶员	乘客（Passenger）
信号类型	行为信号（眼动/头部）	神经信号（EEG）
安全目标	驾驶员状态评估	AV 决策辅助验证
应用场景	L0-L3 辅助驾驶	L3+ 自动驾驶 SOTIF

SOTIF 与乘客认知

ISO 21448 (SOTIF) 要求系统在预期功能下保持安全，但 AV 传感器可能无法识别所有危险。乘客的自然神经响应可作为冗余安全验证信号：

1
2
3

AV 传感器 → 环境感知 → 决策
                    ↑
乘客 EEG → 危险感知解码 → 辅助验证

方法详解

1. Passenger Cognitive Model (PCM)

PCM 建模乘客对危险的神经响应特征，区分两个任务：

任务	定义	输出
Risk Prediction (RP)	预测即将发生的危险事件	二分类：危险/安全
Danger Identification (DI)	识别已发生的危险事件	二分类：危险/安全

2. 3D-CRNN 架构

模型结合 3D 卷积和循环神经网络处理 EEG 时空特征：

import torch
import torch.nn as nn

class CRNN3D_EEG(nn.Module):
    """
    3D-CRNN for Passenger EEG Decoding
    
    论文 arXiv:2609.07128 的核心模型
    输入: EEG 信号 (batch, channels, time, freq)
    输出: 二分类 (危险/安全)
    """
    def __init__(self, n_channels=32, n_freq=8, n_time=30, hidden_dim=128):
        super().__init__()
        
        # 3D 卷积层：提取时空-频域联合特征
        self.conv3d = nn.Sequential(
            nn.Conv3d(1, 32, kernel_size=(3, 3, 5), padding=(1, 1, 2)),
            nn.BatchNorm3d(32),
            nn.ReLU(),
            nn.MaxPool3d((2, 1, 2)),
            
            nn.Conv3d(32, 64, kernel_size=(3, 3, 3), padding=(1, 1, 1)),
            nn.BatchNorm3d(64),
            nn.ReLU(),
            nn.MaxPool3d((2, 1, 2)),
            
            nn.Conv3d(64, 128, kernel_size=(1, 3, 3), padding=(0, 1, 1)),
            nn.BatchNorm3d(128),
            nn.ReLU(),
            nn.AdaptiveAvgPool3d((1, 1, 1))
        )
        
        # CRNN 循环层：建模时序依赖
        self.rnn = nn.GRU(
            input_size=128,
            hidden_size=hidden_dim,
            num_layers=2,
            batch_first=True,
            bidirectional=True,
            dropout=0.3
        )
        
        # 分类头
        self.classifier = nn.Sequential(
            nn.Linear(hidden_dim * 2, 64),
            nn.ReLU(),
            nn.Dropout(0.5),
            nn.Linear(64, 2)
        )
    
    def forward(self, x):
        """
        Args:
            x: EEG tensor, shape=(B, 1, C, T, F)
               B=batch, C=channels, T=time_steps, F=freq_bands
        Returns:
            logits: (B, 2) for binary classification
        """
        # 3D 卷积特征提取
        conv_out = self.conv3d(x)  # (B, 128, 1, 1, 1)
        conv_out = conv_out.squeeze(-1).squeeze(-1).squeeze(-1)  # (B, 128)
        
        # 扩展为序列用于 CRNN
        # 实际实现中按时间窗口滑窗提取特征序列
        seq = conv_out.unsqueeze(1).expand(-1, 10, -1)  # (B, 10, 128)
        
        # 双向 GRU 时序建模
        rnn_out, _ = self.rnn(seq)  # (B, 10, 2*hidden_dim)
        
        # 取最后时间步
        last = rnn_out[:, -1, :]  # (B, 2*hidden_dim)
        
        return self.classifier(last)


# 测试代码
if __name__ == "__main__":
    model = CRNN3D_EEG(n_channels=32, n_freq=8, n_time=30)
    
    # 模拟 EEG 输入: batch=4, 32 通道, 30 时间步, 8 频段
    x = torch.randn(4, 1, 32, 30, 8)
    logits = model(x)
    
    print(f"Input shape: {x.shape}")
    print(f"Output shape: {logits.shape}")
    print(f"Parameters: {sum(p.numel() for p in model.parameters()):,}")
    # 预期: ~500K parameters, 适合边缘部署

3. Risk-aware Sequential Labeling (RSL)

RSL 解决传统标注的局限：在危险事件发生前的预兆期也标注为风险，而非仅标注事件发生时刻。

标注策略	传统标注	RSL 标注
事件前 2s	安全（0）	风险（1）
事件发生	危险（1）	危险（1）
事件后 2s	安全（0）	危险（1）

4. 评估指标

使用 Balanced Accuracy (BA) 作为主要指标，避免类别不平衡影响：

from sklearn.metrics import balanced_accuracy_score
import numpy as np

def evaluate_model(model, dataloader, device='cpu'):
    """
    评估 EEG 解码模型
    
    Returns:
        ba: Balanced Accuracy
        per_event: 按事件类型的准确率
    """
    model.eval()
    all_preds, all_labels = [], []
    
    with torch.no_grad():
        for x, y in dataloader:
            x, y = x.to(device), y.to(device)
            logits = model(x)
            preds = logits.argmax(dim=1)
            all_preds.extend(preds.cpu().numpy())
            all_labels.extend(y.cpu().numpy())
    
    ba = balanced_accuracy_score(all_labels, all_preds)
    
    # 按事件类型分析
    event_types = ['pedestrian', 'vehicle_cut_in', 'sudden_brake', 'signal_violation']
    for et in event_types:
        mask = [l == et for l in all_labels]
        if sum(mask) > 0:
            et_acc = np.mean([p == l for p, l in zip(all_preds, all_labels) if l == et])
            print(f"  {et}: {et_acc:.1%}")
    
    return ba


# 论文报告的 3D-CRNN 性能
print("=== 3D-CRNN 性能复现目标 ===")
print(f"RP Balanced Accuracy: 95.3% ± 2.7%")
print(f"DI (single-subject):  85.0% ± 3.2% (with RSL)")
print(f"DI (cross-session):   77.0% ± 5.3%")
print(f"DI (cross-subject, seen):   77.4% ± 1.1%")
print(f"DI (cross-subject, unseen): 64.9% ± 8.5%")

实验结果

主要结果

模型	RP (BA)	DI (BA)	DI+RSL (BA)
SVM	78.2% ± 4.1%	72.1% ± 5.3%	76.3% ± 4.2%
CNN-1D	85.7% ± 3.2%	78.4% ± 4.1%	80.9% ± 3.9%
CNN-2D	89.1% ± 2.8%	79.6% ± 3.7%	81.5% ± 3.5%
LSTM	88.3% ± 3.0%	77.8% ± 4.3%	80.2% ± 4.0%
CRNN-2D	92.4% ± 2.5%	79.5% ± 3.8%	82.1% ± 3.3%
3D-CRNN	95.3% ± 2.7%	81.2% ± 3.5%	85.0% ± 3.2%

泛化实验

设置	BA	说明
Cross-session DI	77.0% ± 5.3%	同一被试不同天
Cross-subject (seen)	77.4% ± 1.1%	训练集见过的被试
Cross-subject (unseen)	64.9% ± 8.5%	完全新被试

关键发现

3D-CRNN 显著优于 2D-CRNN：3D 卷积捕获了 EEG 时空-频域联合特征
RSL 提升 DI 4个百分点：风险感知窗口扩展有效
跨被试泛化是主要挑战：unseen 被试仅 64.9%，需个性化校准

IMS 应用启示

1. 航空座舱 EEG 辅助监测

应用场景	实现方案	预期效果
飞行员危险感知	耳道 EEG → 3D-CRNN → 危险预警	补充仪表扫视盲区
列车驾驶员危险感知	头戴 EEG → RP 模型 → 前碰撞预警	减少 0.5-1s 反应时间

2. 汽车座舱落地路径

graph LR
    A[EEG 传感器<br/>头靠/耳道] --> B[信号预处理<br/>滤波 0.5-45Hz]
    B --> C[特征提取<br/>STFT → 时空-频域]
    C --> D[3D-CRNN<br/>RP/DI 解码]
    D --> E{危险?}
    E -->|是| F[AV 决策辅助<br/>SOTIF 验证]
    E -->|否| G[持续监测<br/>滑动窗口]

3. 技术路线建议

阶段	目标	关键技术	时间线
Phase 1	离线验证	复现 3D-CRNN，BA > 85%	3 个月
Phase 2	在线原型	实时 EEG 解码，延迟 < 500ms	6 个月
Phase 3	乘员验证	耳道 EEG + 自然驾驶，BA > 75%	12 个月
Phase 4	量产方案	非侵入式 EEG 头靠 + 边缘 NPU	24 个月

4. 硬件选型

组件	型号	参数	用途
EEG 传感器	Cognionics Flex系列	32通道, 500Hz, 干电极	数据采集
EEG 耳道	NTol EarEEG	6通道耳道, 250Hz	量产候选
边缘 NPU	Qualcomm QCS8255	Hexagon NPU, 26 TOPS	实时推理
信号处理	TI ADS1299	24bit, 8通道, 低噪	模拟前端

5. 与现有 IMS 模块协同

IMS 模块	协同方式	互补价值
DMS 疲劳检测	EEG RP 信号触发 DMS 复核	减少疲劳误报
OMS 乘员状态	EEG DI 补充乘员危险感知	非视觉冗余
ADAS 决策	EEG 作为 SOTIF 验证信号	多模态安全确认

局限与挑战

EEG 侵入性：当前需佩戴电极，量产需非侵入式方案
跨被试泛化：unseen 被试 64.9%，需迁移学习或个性化校准
信号噪声：车内电磁环境复杂，需鲁棒滤波方案
实时性要求：RP 需在危险事件前 2s 预测，推理延迟 < 200ms

总结

本文首次将 EEG 乘客认知信号引入自动驾驶安全链路，3D-CRNN 在 RP 任务上达到 95.3% BA，为 SOTIF 提供了全新的辅助验证维度。虽然量产仍需解决侵入性和泛化问题，但耳道 EEG + 边缘 NPU 路线已有清晰的技术可行性。

对 IMS 开发的核心启示：

EEG 信号不是替代视觉 DMS，而是补充——尤其在视觉受限场景（夜间、遮挡）
3D-CRNN 架构可直接迁移到耳道 EEG 输入，参数量 ~500K 适合边缘部署
RSL 标注策略可推广到其他时序安全检测任务（疲劳预兆、分心预兆）

前沿论文

#IMS #EEG #自动驾驶 #BCI #SOTIF #乘客监测 #认知信号

EEG 乘客危险感知解码框架：3D-CRNN 在自动驾驶 SOTIF 中的辅助监督

https://dapalm.com/2026/09/10/2026-09-10-eeg-passenger-hazard-perception-3d-crnn-autonomous-vehicle-sotif-ims/

作者

Mars

发布于

2026年9月10日

许可协议

CUPRA Raval Euro NCAP 评估深度解析：安全带误用检测与 OOP 防护的量产实践上一篇

NVIDIA Cosmos 3 深度解析：Mixture-of-Transformers 架构与座舱数据合成工厂下一篇