跨被试 EEG 警觉性检测的诚实基线:Kamrud 2021 两部曲,64% 平衡精度与”错误划分让误差低估 35%–3900%”

先给一句可以被引用的论断:当整个领域普遍报出 64%–100% 的”精度”时,2021 年美国空军理工学院(AFIT)Kamrud 团队的两部曲给了两条罕见的诚实锚点——主论文(Sensors 21:5617)在”未见被试 + 未见任务”的双重泛化设定下只拿到 64% 平衡精度、AUROC 0.71,且逐被试公布谁没过随机水平;姊妹篇(Sensors 21:3225)用五个公开数据集证明,只要数据划分时让同一被试的样本混进训练与测试,交叉被试模型的误差会被低估 35% 到 3900%(Kamrud, Borghetti & Schubert Kabban, 2021)。

这是昨晚 ATC 警觉性 PRISMA 综述文(34 篇无一通过四条可部署性判据)留下的系列线索:综述把 64% 标为全领域精度区间的下限,并在 Table 4 里单独列出 Kamrud 是极少数同时报告置信区间与 AUROC 的入组研究。把这两篇 2021 年的论文在 2026 年读,价值不在数字本身,而在它们回答了一个 DMS 团队每天都在面对的问题:你的泛化性能指标到底是被”压”出来的,还是被”划”出来的? 姊妹篇的答案是:光划分错误这一项,就能在不改任何模型、任何特征的前提下,把 91% 的表面精度打到 54% 的真实水平。

本文为 A 型(论文深读)。信源:主论文全文(Sensors 2021, 21(16):5617,PMC8402570,开放获取,分三段精读)、姊妹篇全文(Sensors 2021, 21(9):3225,PMC8125354,分两段精读)、Aich, El Aoufi & Moussa 2026 综述 Table 4 与 Tier 定义核证(Front. Neuroergonomics)。文中所有数字均来自上述原文;两篇论文都是本文作者直接抓取阅读,非转述。

背景:它解决的问题

昨天的综述文已经交代了大背景:警觉性(vigilance decrement)检测领域精度报到 64%–100%,但 34 篇研究没有一篇同时通过跨被试验证、现场验证、工作阈值下灵敏度/误报率报告、闭环设计四条判据。Kamrud 两部曲恰好卡在这个证据链的两端:主论文是”泛化设定最狠的诚实报告”——它不只做跨被试(leave-two-participants-out),还同时做跨任务(用 ATC 任务和线段任务训练,用一个从未参与训练的 3-stimulus oddball 任务验证),这比常见的”同一任务内跨被试”更接近真实部署时的分布漂移;姊妹篇是”为什么别人报的数字不可信”的数学+实证证明——被试内协变量偏移(covariate shift)会让混合划分的交叉验证变成变相的记忆测试。

先说清一个术语坑:Kamrud 团队论文里说的是”cross-participant”(跨被试),对应 DMS 文献里的 cross-subject/subject-independent。两者是同一个验证范式,也踩同一批坑。

主论文实验设计:任务、标签与”双重未见”划分

实验有两组被试:实验 1 招 32 人(分析用其中数据完整的 14 人),实验 2 招 29 人。EEG 用 BioSemi Active II 64+2 导,512 Hz 采样降到 250 Hz,EEGLAB 预处理(1 Hz 高通、CleanLine、ASR、平均重参考、ICA 去眼电)。任务三个:

(表源:主论文 Section 2,Sensors 21(16):5617)

标签构造是这篇论文容易被低估的部分:他们不做”专家标注疲劳”,而是用绩效反推——每个任务按时间均分 4 箱,每箱计算 BIS(Balanced Integration Score,= z 分数化的正确率 − z 分数化的反应时,按被试内计算)。最优拟合线显示所有被试都在第 1 箱达到绩效峰值,于是第 1 箱 = 警觉态、第 4 箱 = 警觉性下降,只取两箱构成完全平衡的二分类。这个”绩效标签”方案避开了主观标注,但也埋下后文要说的”可能只在分类任务时长”的自招局限。

验证协议是全文最狠的设计:

flowchart LR
    A["训练端<br/>ATC 任务 + 线段任务<br/>两实验共 41 名被试<br/>每折 53,600 观测"] -->|L2PO-CV 共 7 折| B["验证端<br/>3-stimulus oddball 任务<br/>每折 2 名未见被试<br/>每折 360 观测(第1箱+第4箱)"]
    B --> C["三模型各报<br/>7 折 CV 平衡精度<br/>+ 95% Agresti-Coull CI<br/>+ AUROC + 逐被试精度表"]
    style A fill:#e8f0fe
    style B fill:#fde8e8
    style C fill:#e8fee8

(图源:依主论文 Section 2.5–2.6 绘制;被试层面训练/验证完全隔离,且验证任务从未出现在训练中)

主论文结果:64% 意味着什么

三个模型的对比结果是一个反直觉的”简单模型赢”:

(表源:主论文 Figure 3、Table 1 与 Section 4;显著性判定为 95% CI 是否排除 50% 随机水平)

MLPNN 与 TCN 的 8% 差值本身有统计学意义(McNemar 检验 4.5 ≥ 3.84,p < 0.034)。作者的归因很朴素:如果警觉性下降的神经表征主要在频段功率变化上,那把 320 维频谱特征直接喂给 MLPNN,等于替时序模型省去了”自己从原始波形里学出频域变换”这一步——TCN 输得起不冤。

真正值得逐行看的是逐被试表(主论文 Table 1):MLPNN 最好的被试到 0.84(P12,CI 0.78–0.89)、0.83(P4)、0.78(P1);而 P2、P3、P7、P8、P11 五人在 0.46–0.52 之间,统计上就是抛硬币。也就是说,“64% 平均”背后是一个双峰人群:约三分之一的未见被试能到 80% 水平,约三分之一完全检测不到。TCN-AE 全军覆没则说明这 64% 不是”随便什么模型都能捡到”的信号,而是依赖特征工程把可泛化成分挑出来。

还有一个对 IMS 团队最扎心的相关性检验:MLPNN 精度与被试的 BIS 下降斜率不相关(ρ = 0.07, p = 0.82),与 BIS 前后差值也不相关(ρ = −0.09, p = 0.76)。翻译一下:模型在某个被试身上表现好,不代表这个被试的警觉性下降更严重、更可测。14 人的 BIS 斜率从 −1.84(P3)拉到 −8.96(P10),个体差异极大,但模型精度与此完全脱钩——性能标签和神经表征之间还隔着未被理解的东西。

作者在讨论里自报的局限同样值得抄进验收清单:全部任务都是视觉域;无法验证网络学的是警觉性下降的神经相关物而不是别的线索;精神疲劳与睡眠疲劳的神经表征可能相反(如 alpha 频段一个升一个降);以及最尖锐的一条——每个被试都在任务时长内经历警觉性下降,模型可能只是学会了”分类任务进行到第几分钟”。最后这条他们没有证伪,只留作未来用”计划休息导致警觉性回升”的实验去检验。

姊妹篇:35%–3900% 的划分陷阱

如果说主论文是”诚实报告长什么样”,姊妹篇就是”不诚实的报告是怎么无意间造出来的”。论文用五个公开 EEG 数据集,把同一模型、同一特征分别在”错误划分”和”正确划分”下重跑了一遍:

• 错误划分(improper):全部被试数据混洗后随机切分(如 12 折 CV,被试分布在各折之间穿插)——每名被试的数据同时出现在训练、验证、测试里;
• 正确划分(proper):被试级隔离(LOPO/Leave-N-Participants-Out)——训练过的被试绝不进验证或测试。

(表源:姊妹篇 Table 3,Sensors 21(9):3225;误差率低估幅度从 Confused Students 的 35% 到 Schizophrenia 的 3900%)

注意 Schizophrenia 这一行:99% 的表面精度在正确划分下直接归零到随机水平——模型学到的不是病症表征,而是”这是哪个被试”。被试内协变量偏移的机制作者是这样描述的:个体差异(个性相关的频率峰值变异、遗传、GABA 浓度等)让输入分布随被试平移,而 p(y|x) 不变;于是混合划分下,测试集里的”患者”样本可以靠”这个被试在训练集里的同类样本”被认出来。t-SNE 可视化在 PTSD、Schizophrenia、Driver Fatigue 三个数据集上都看到数据主要按被试聚簇而不是按标签聚簇。

文中还有一个把偏移量级量化的实验:在 Driver Fatigue 数据上,做”向中位数平移”(shift to median)的合成变换把跨被试正确划分精度从 0.50(0.46–0.54)拉到 0.80(0.77–0.83,熵特征)/0.72(0.68–0.76,频谱特征)——缩小被试间分布差异本身,比换任何模型都涨得多。作者同时声明这两个变换只是演示机制,不建议实际使用。

这套问题的普遍程度有文献量级支撑:姊妹篇转引 Roy et al. 的综述——自 2016 年起 EEG 深度学习文献里交叉被试与被试内研究之比超过 5:1,但 108 篇交叉被试研究中只有 23 篇用了正确的被试级划分。也就是说,大多数”跨被试 SOTA”的精度数字,连划分离岛这一关都没过。

与已有方案的关系:四判据框架下的定位

把两部曲放回昨晚综述的四条可部署性判据框架里看:

一个值得指出的张力:综述 Table 4 仍把 Kamrud 标为 Tier 1—PoC,而其 4.1 节把 Guo & Guan 2025(面部图像,跨被试 94.36%)与 Han 2026(高保真仿真,LOSO 83.52% 且”明显下降”)以”仅凭跨被试验证”保住 Tier 2。以主论文”跨被试+跨任务”的验证强度看,它比后两者更接近可部署语义——我判断这是综述对”验证设定是否叠加跨任务/真实绩效标签”的保守裁量,而非对数据划分的质疑(本文推测,综述原文未解释该项分级理由)。两篇 Tier 2 样本的数字也再次印证了昨晚的核心结论:即便做了跨被试,94.36% 与 83.52% 的数字全部来自图像/仿真端的”友好设定”,没有一个研究同时有现场数据和跨被试证据(转引自 Aich et al., 2026)。

对汽车侧,这篇证据链的镜像关系是:DMS/OMS 的视觉模型同样长在小样本、被试内校准、仿真器数据的土壤上,而汽车法规已经开始堵”只报 accuracy”的口子——UN R182 的 DDAW 01 系列修订已把 Specificity/PPV 写进性能框架(站内关联:UN R182 01 系列修订拆解);个体差异对模型性能的方差贡献,此前 Koning 等的方差分解工作也给出过”按驾驶员分层”的定量路径(站内关联:方差分解与按驾驶员基线)。

对 IMS 团队的启示:可直接搬进内部评审的六条

1. 数据划分规范先行于模型选型。任何”跨被试/跨驾驶员”报告,先查划分代码:训练过的驾驶员/被试的一个观测都不得进入验证或测试,验证被试也不得进测试(姊妹篇的三级隔离原话)。按姊妹篇 Table 3 的量级,这一条检查抵得过任何一次调参——它决定你的 91% 是不是其实是 54%。
2. 报告格式抄主论文:总体平衡精度 + 95% CI + AUROC + 逐被试精度表(标注谁显著过随机)。逐被试表是这篇论文最有信息量的部分——“平均 64%”掩盖的双峰人群(1/3 到 80%、1/3 抛硬币)才是部署时真正要面对的分布。对 DMS,等价物是逐驾驶员精度表 + 未检出驾驶员清单。
3. 把 64%/AUROC 0.71 当作”双重未见”设定的诚实基线。评审供应商或论文声称的跨被试性能时,先问三个问题:验证任务/场景是否未参与训练?有没有逐被试分解?有没有报置信区间?三项都缺的数字,参考姊妹篇的下界,默认按”误差被低估最多一个数量级”处理。
4. 绩效标签方案可用但有代价。BIS(正确率 z 分 − 反应时 z 分)分箱构造标签不需要专家标注,可直接移植到模拟器/测试场地驾驶绩效;但主论文自证了模型精度与绩效下降幅度不相关(ρ = 0.07),且无法排除”分类任务时长”的捷径——上线前用”计划休息→警觉回升”的反向实验验证模型不是在看钟表。
5. 缩小个体差异比换模型收益大。shift-to-median 演示实验(0.50 → 0.80)的机制版结论是:被试间分布对齐本身就是一个大杠杆。对应到 DMS 工程,这就是按驾驶员基线校准(per-driver normalization)的正当性证明——先做个体基线对齐,再谈多模态融合。
6. 频域特征先于端到端。MLPNN(频谱)压过 TCN(原始时序)8 个点的结果,提示在数据量不足以让网络自己学变换时,显式频域特征工程仍是跨被试设定的优先选项;端到端路线需要的不是更好的架构,而是姊妹篇结论里说的”来自许多不同实验的海量多样化数据”。

路线判断

我判断,跨被试泛化能力会在 2027 年前成为 DMS/OMS 算法供应商分级的事实指标——不是因为学术共识,而是因为 R182 式的法规指标(PPV/specificity 在工作阈值下)天然把”被试内过拟合”的方案挤出认证线,而通过认证的最省成本路径就是把个体差异做成显式层(基线校准 + 个性化微调),而不是指望一个通用模型吃下所有人。Kamrud 两部曲在 2021 年给出的两个数字——64% 的双重未见基线、35%–3900% 的划分误差 inflation——到今天仍然是这两个方向上最好的锚点:前者告诉你别信 98%,后者告诉你先查你自己的划分代码。开放问题有两个:绩效标签与神经表征脱钩(ρ=0.07)意味着”测绩效”和”测状态”在 EEG 上还不是一回事,视觉侧是否同样脱钩未见系统证据;以及 Schizophrenia 式的”学到被试身份”陷阱在舱内视觉模型上大概率同样存在——人脸识别模型天然擅长这件事,值得专门设计一个”跨驾驶员身份混淆”消融实验。

参考

1. Kamrud, A., Borghetti, B., Schubert Kabban, C., & Miller, M. (2021). Generalized Deep Learning EEG Models for Cross-Participant and Cross-Task Detection of the Vigilance Decrement in Sustained Attention Tasks. Sensors, 21(16), 5617. https://doi.org/10.3390/s21165617 (全文:https://pmc.ncbi.nlm.nih.gov/articles/PMC8402570/)
2. Kamrud, A., Borghetti, B., & Schubert Kabban, C. (2021). The Effects of Individual Differences, Non-Stationarity, and the Importance of Data Partitioning Decisions for Training and Testing of EEG Cross-Participant Models. Sensors, 21(9), 3225. https://doi.org/10.3390/s21093225 (全文:https://pmc.ncbi.nlm.nih.gov/articles/PMC8125354/)
3. Aich, S., El Aoufi, B., & Moussa, M. (2026). Modeling and Predicting Vigilance Decrement in Air Traffic Control: A Systematic Review. Frontiers in Neuroergonomics, 7:1874304. https://doi.org/10.3389/fnrgo.2026.1874304(Kamrud 条目分级见表 4;Guo & Guan 2025、Han 2026 跨被试数字转引自其 4.1 节)
4. 站内关联:34 篇空管警觉性预测研究、无一通过四条可部署性判据
5. 站内关联:UN R182 DDAW 01 系列修订拆解
6. 站内关联:方差分解与按驾驶员基线