航空驾驶员多模态可穿戴感知：40飞行员真实飞行中的EEG+EDA+眼动+心率达特

论文信息

项目 内容
标题 From signal to construct evidence: multimodal consumer-wearable sensing in real general-aviation flight
期刊 Frontiers in Neuroergonomics, 7, 1911259
发表 2026年9月
DOI 10.3389/fnrgo.2026.1911259
被试 40名飞行员（35男/5女，年龄18-78，飞行时间20-1800小时）
飞行器 Cessna 172
传感器 消费级可穿戴（EEG AF7/AF8 + EDA + 心率 + 眼动 + 体温 + 飞行动力学）

核心贡献

首个在真实通用航空飞行中记录同步消费级多模态生理信号的研究。40名飞行员执行5个标准化飞行动作（地面基线、正常起飞、大坡度转弯、精密进近、着陆），同时采集EEG、EDA、心率、眼动、体温和飞行动力学数据。

三大发现：

  1. 心率和眼动是最可靠的飞行状态感知通道：心率within-person r=.57，眼动r=.39
  2. 额叶theta/alpha比值在真实飞行中不稳定：个体差异大，跨被试不可泛化
  3. 跨被试预测不超过仅动作基线：消费级传感器需要个体校准

实验设计

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
study_design = {
    "aircraft": "Cessna 172",
    "rules": "Visual Flight Rules (VFR)",
    "participants": {
        "total": 40,
        "male": 35, "female": 5,
        "median_age": 23, "range": "18-78",
        "median_flight_hours": 155, "range": "20-1800",
        "certificates": {"private": 23, "commercial": 11, "student": 6}
    },
    "maneuvers": [
        "Ground Baseline (before engine start)",
        "Normal Takeoff",
        "Steep Turn (45° bank)",
        "Precision Approach",
        "Landing"
    ],
    "sensors": {
        "EEG": "Frontal AF7/AF8 (consumer-grade, 2-channel)",
        "ECG": "Heart rate (consumer chest strap)",
        "EDA": "Electrodermal activity (wrist)",
        "Eye": "Eye tracking (mobile glasses)",
        "Temperature": "Skin temperature",
        "Flight": "GPS/IMU dynamics"
    },
    "references": {
        "self_report": "Per-maneuver stress/workload ratings",
        "instructor": "Competency ratings for in-air maneuvers"
    }
}

三层证据框架

核心结果

信号质量

传感器 可用率 说明
ECG (心率) 97% 最可靠
眼动 94% 高质量
EDA 91% 可接受
EEG (AF7/AF8) 85% 运动伪迹多
体温 96% 稳定
飞行动力学 100% 参考标准

Within-person收敛证据

通道对 相关系数(r) 评价
心率 ↔ 自评压力 0.57 最强
眼动(扫视/注视率) ↔ 自评 0.39 中等
EDA相位 ↔ 自评 0.23 弱
额叶theta/alpha ↔ 自评 0.12 不可靠

关键发现：theta/alpha比值不可靠

1
2
3
4
5
6
7
8
9
10
11
12
# 论文核心发现：额叶theta/alpha比值在真实飞行中不稳定
theta_alpha_findings = {
    "实验室结果": "theta/alpha比值随认知负荷升高（已广泛验证）",
    "飞行结果": "比值在个体间极度不稳定",
    "原因分析": [
        "AF7/AF8侧位而非中线Fz，非经典额叶中线theta源",
        "飞行中运动伪迹远超实验室",
        "个体差异远大于条件差异"
    ],
    "结论": "消费级2通道EEG不足以做跨被试认知负荷评估",
    "启示": "ear-EEG方案需要个体校准才能使用"
}

跨被试预测

模型 特征 准确率 说明
仅动作标签 动作类型 基线 不使用传感器
全传感器 EEG+EDA+ECG+眼动+体温 ≤基线 未超越
心率+眼动 最可靠2通道 接近基线 个体内有效

与Mind2Drive的对比

维度 Mind2Drive (汽车) 本研究 (航空)
场景 真实道路驾驶 真实通用航空飞行
EEG通道 16通道全头皮 2通道额叶(AF7/AF8)
EEG预处理 最小化预处理最优 消费级，质量受限
最佳准确率 90.7% (TSCeption) 不超过动作基线
核心发现 EEG可预测意图 EEG不可跨被试泛化
可靠通道 EEG本身 心率+眼动
被试数 4人/32会话 40人/200动作

关键差异：Mind2Drive使用16通道专业EEG，本研究使用2通道消费级EEG。这说明EEG通道数量和质量对跨被试泛化至关重要。

IMS开发启示

1. 跨座舱感知迁移

2. 可落地通道排序

优先级 通道 可靠性 BOM成本 迁移可行性
🔴 P0 眼动（已有DMS） 94% 已有 ✅ 已部署
🔴 P0 心率（rPPG） 97% $0（软件） ✅ 可直接加
🟡 P1 EDA（方向盘） 91% $5 ✅ 可嵌入
🟡 P1 体温 96% $2 ✅ 可加
🟢 P2 ear-EEG 85% $15 ⚠️ 需个体校准

3. rPPG心率监测的落地价值

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
class RPPGHeartRateMonitor:
    """
    基于摄像头rPPG的心率监测
    
    本研究证明心率是最可靠的认知状态通道(97%可用率, r=.57)
    可直接在现有DMS摄像头上实现，零硬件成本
    """
    
    def __init__(self):
        self.detector = FaceDetector()
        self.rppg_algo = POS_Algorithm()  # Plane-Orthogonal-to-Skin
        
    def extract_heart_rate(self, frame_sequence):
        """
        从面部视频序列提取心率
        
        原理：血液灌注导致面部皮肤微小颜色变化
        帧率要求：>=30fps
        精度：±3bpm（静止），±5bpm（驾驶中）
        """
        # 1. 检测面部ROI
        forehead_roi = self.detector.get_forehead(frame_sequence)
        
        # 2. 提取绿色通道信号
        green_signal = self._extract_spatial_avg(forhead_roi, 'green')
        
        # 3. POS算法分离心率分量
        heart_rate = self.rppg_algo.estimate(green_signal)
        
        return heart_rate

4. 个体校准的必要性

论文核心教训：消费级传感器不能直接做跨被试认知状态预测。对于IMS系统：

  1. 首日基线：新用户首次使用时建立5分钟基线
  2. 在线校准：持续学习用户个体模式
  3. 降级策略：个体校准未完成时仅使用可靠通道（心率+眼动）

航空→汽车跨域迁移启示

航空发现 汽车DMS应用
心率是最可靠通道 rPPG可在DMS摄像头上零成本实现
眼动次之 DMS已有眼动追踪，可直接增强
消费级EEG不可靠 ear-EEG必须配合个体校准
动作标签基线很强 驾驶场景标签也是强基线，传感器需超越它
个体差异>条件差异 IMS必须支持个性化模型

总结

本研究为座舱生理感知提供了诚实的基线：消费级传感器在真实飞行中心率和眼动可靠，但EEG不足以跨被试泛化。这对IMS的启示是：

  1. 优先部署rPPG心率监测——零成本、97%可用率、最高within-person相关性
  2. ear-EEG需要个体校准——不能期望开箱即用的跨用户认知分心检测
  3. 传感器融合要分级——可靠通道(心率+眼动)做基础，弱通道(EEG+EDA)做增强
  4. 跨域迁移需谨慎——航空发现部分适用于汽车，但场景差异大