驾驶员认知负荷评估：从瞳孔直径到多模态融合的量化方法在IMS中的实现

驾驶员认知负荷评估：从瞳孔直径到多模态融合的量化方法在IMS中的实现

研究背景

认知负荷（Cognitive Load）是驾驶员状态评估中最难量化的维度。疲劳可以通过PERCLOS检测，分心可以通过视线偏离检测，但认知负荷——驾驶员大脑”有多忙”——需要更精细的多模态方法。

项目 内容
核心挑战 认知负荷不可直接观测
关键指标 瞳孔直径、眨眼模式、心率变异、驾驶行为
应用场景 ADAS信息量控制、导航简化、警告时机选择
Euro NCAP 2026间接关联(分心检测)

1. 认知负荷指标

1.1 生理指标

指标 测量方法 认知负荷关联 可用性
瞳孔直径 DMS摄像头+近红外 负荷↑→瞳孔↑ ⚠️ 需高精度IR
眨眼频率 DMS摄像头 负荷↑→眨眼↓ ✅ 可用
眨眼时长 DMS摄像头 负荷↑→时长↓ ✅ 可用
扫视模式 DMS摄像头 负荷↑→扫视↓ ✅ 可用
心率变异 rPPG/方向盘传感器 负荷↑→HRV↓ ✅ 可用
皮肤电导 方向盘传感器 负荷↑→EDA↑ ⚠️ 需接触
脑电 EEG头环 直接测量 ❌ 不可量产

1.2 行为指标

指标 测量方法 认知负荷关联
方向盘微动频率 EPS扭矩 负荷↑→微动↓
车道保持精度 前视摄像头 负荷↑→偏差↑
速度波动 车速传感器 负荷↑→波动↑
踏板微调 踏板传感器 负荷↑→微调↓
反应时间 视觉刺激响应 负荷↑→反应↓

2. 瞳孔直径方法

2.1 瞳孔测量原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
"""
瞳孔直径测量
==============
DMS摄像头 + 近红外照明 → 瞳孔检测 → 直径估计

关键挑战:
1. 需要高分辨率IR图像 (>640x480)
2. 眼球旋转影响测量
3. 光照变化影响(即使IR)
4. 个体差异(基线校准)

论文: 多项研究证实瞳孔直径与认知负荷正相关
"""
import numpy as np

class PupilDiameterEstimator:
    """
    瞳孔直径估计器
    
    流程:
    1. 眼睛检测 (DMS已有人脸关键点)
    2. 瞳孔轮廓提取
    3. 椭圆拟合 → 直径估计
    4. 旋转补偿
    5. 基线归一化
    """
    
    def __init__(self):
        self.baseline_diameter = 4.0  # mm, 个体基线
        self.history = []  # 滑动窗口
        self.window_size = 30  # 1秒@30fps
        
    def estimate(self, eye_image, gaze_direction=(0, 0)):
        """
        估计瞳孔直径
        
        Args:
            eye_image: [H, W] 近红外眼部图像
            gaze_direction: (az, el) 用于旋转补偿
            
        Returns:
            {
                'diameter_mm': float,
                'diameter_normalized': float,  # 相对基线
                'cognitive_load_score': int,  # 0-100
                'confidence': float
            }
        """
        # 模拟处理流程
        # 1. 瞳孔检测 (实际用CNN+椭圆拟合)
        # 2. 直径估计
        raw_diameter = self._detect_pupil(eye_image)
        
        # 3. 旋转补偿
        compensated = self._compensate_gaze(raw_diameter, gaze_direction)
        
        # 4. 基线归一化
        normalized = (compensated - self.baseline_diameter) / self.baseline_diameter
        
        # 5. 认知负荷评分
        # normalized > 0.1 = 高负荷
        # normalized 0-0.1 = 中等
        # normalized < 0 = 低负荷
        if normalized > 0.15:
            load_score = min(100, 50 + int(normalized * 300))
        elif normalized > 0.05:
            load_score = 30 + int(normalized * 200)
        else:
            load_score = max(0, 30 + int(normalized * 100))
        
        # 滑动平均
        self.history.append(load_score)
        if len(self.history) > self.window_size:
            self.history.pop(0)
        smooth_score = int(np.mean(self.history))
        
        return {
            'diameter_mm': round(compensated, 2),
            'diameter_normalized': round(normalized, 3),
            'cognitive_load_score': smooth_score,
            'confidence': 0.75  # 瞳孔方法置信度中等
        }
    
    def _detect_pupil(self, eye_image):
        """瞳孔检测 (模拟)"""
        return 4.0 + np.random.normal(0, 0.2)
    
    def _compensate_gaze(self, diameter, gaze):
        """眼球旋转补偿"""
        az, el = gaze
        # 旋转角度影响表观直径
        correction = 1.0 / np.cos(np.radians(np.sqrt(az**2 + el**2)))
        return diameter * correction

# 测试
if __name__ == "__main__":
    estimator = PupilDiameterEstimator()
    
    # 低负荷场景
    result = estimator.estimate(None, gaze_direction=(0, 0))
    print(f"低负荷: diameter={result['diameter_mm']}mm, load={result['cognitive_load_score']}")
    
    # 高负荷场景 (瞳孔扩张)
    estimator.baseline_diameter = 3.5  # 模拟基线下降
    result = estimator.estimate(None, gaze_direction=(0, 0))
    print(f"高负荷: diameter={result['diameter_mm']}mm, load={result['cognitive_load_score']}")

3. 多模态融合方案

3.1 认知负荷融合模型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
"""
多模态认知负荷融合
"""
class CognitiveLoadFusion:
    """
    多模态认知负荷评估
    
    输入模态:
    1. 瞳孔直径 (DMS IR)
    2. 眨眼模式 (DMS)
    3. rPPG心率变异 (DMS RGB)
    4. 驾驶行为 (CAN总线)
    
    输出:
    - cognitive_load: 0-100
    - level: low/medium/high/overload
    - recommendation: 交互策略建议
    """
    
    def __init__(self):
        self.weights = {
            'pupil': 0.25,
            'blink': 0.20,
            'hrv': 0.25,
            'behavior': 0.30
        }
        
    def assess(self, metrics: dict) -> dict:
        # 1. 瞳孔
        pupil_load = metrics.get('pupil_load', 50)
        
        # 2. 眨眼模式
        blink_rate = metrics.get('blink_rate', 15)
        blink_duration = metrics.get('blink_duration', 0.1)
        # 负荷↑→眨眼↓+时长↓
        if blink_rate < 8 or blink_duration < 0.05:
            blink_load = 80
        elif blink_rate < 12:
            blink_load = 60
        else:
            blink_load = 30
        
        # 3. HRV (从rPPG)
        hrv = metrics.get('hrv', 50)  # ms
        # 负荷↑→HRV↓
        if hrv < 30:
            hrv_load = 80
        elif hrv < 50:
            hrv_load = 60
        else:
            hrv_load = 30
        
        # 4. 驾驶行为
        steering_entropy = metrics.get('steering_entropy', 0.3)
        lane_deviation = metrics.get('lane_deviation', 0.2)  # m
        behavior_load = int(min(100, (steering_entropy * 100 + lane_deviation * 100) / 2))
        
        # 加权融合
        total = (pupil_load * self.weights['pupil'] +
                 blink_load * self.weights['blink'] +
                 hrv_load * self.weights['hrv'] +
                 behavior_load * self.weights['behavior'])
        
        # 分级
        if total >= 80:
            level = 'overload'
            recommendation = 'minimize_UI + voice_only + delay_non_critical'
        elif total >= 60:
            level = 'high'
            recommendation = 'simplify_HUD + audio_only + delay_media'
        elif total >= 40:
            level = 'medium'
            recommendation = 'normal + monitor'
        else:
            level = 'low'
            recommendation = 'normal_interaction'
        
        return {
            'cognitive_load': round(total, 1),
            'level': level,
            'recommendation': recommendation,
            'component_scores': {
                'pupil': pupil_load,
                'blink': blink_load,
                'hrv': hrv_load,
                'behavior': behavior_load
            }
        }

# 测试
if __name__ == "__main__":
    fusion = CognitiveLoadFusion()
    
    # 正常驾驶
    result = fusion.assess({
        'pupil_load': 20,
        'blink_rate': 18,
        'blink_duration': 0.12,
        'hrv': 55,
        'steering_entropy': 0.2,
        'lane_deviation': 0.15
    })
    print(f"正常: load={result['cognitive_load']}, level={result['level']}")
    print(f"  建议: {result['recommendation']}")
    
    # 高负荷 (复杂路况+导航)
    result = fusion.assess({
        'pupil_load': 75,
        'blink_rate': 8,
        'blink_duration': 0.06,
        'hrv': 25,
        'steering_entropy': 0.6,
        'lane_deviation': 0.4
    })
    print(f"\n高负荷: load={result['cognitive_load']}, level={result['level']}")
    print(f"  建议: {result['recommendation']}")

4. 应用场景

4.1 认知负荷→交互策略

负荷等级 分数 UI策略 警告策略 导航策略
低 0-40 正常 正常 详细导航
中 40-60 简化 正常 简化导航
高 60-80 仅HUD 触觉优先 语音播报
过载 80-100 最小化 触觉+紧急 仅关键方向

4.2 认知负荷→ADAS

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
"""
认知负荷→ADAS策略调整
"""
load_adas_map = {
    "low": {
        "adas_level": "L2_assist",
        "following_distance": "standard",
        "sensitivity": "normal"
    },
    "medium": {
        "adas_level": "L2_assist+",
        "following_distance": "+20%",
        "sensitivity": "high"
    },
    "high": {
        "adas_level": "L2_active",
        "following_distance": "+50%",
        "sensitivity": "very_high",
        "intervention_threshold": "降低"
    },
    "overload": {
        "adas_level": "L2_full+warning",
        "following_distance": "+100%",
        "sensitivity": "maximum",
        "intervention_threshold": "最低",
        "action": "建议停车休息"
    }
}

5. IMS开发启示

启示 说明 优先级
多模态融合 单一指标不可靠 🔴 高
行为指标最实用 零额外硬件 🔴 高
瞳孔需高精度IR 非标准DMS摄像头 🟡 中
rPPG有潜力 从DMS视频提取心率 🟡 中
交互适配 负荷高→简化UI 🔴 高
ADAS协同 负荷高→增强ADAS 🟡 中

参考: 多项瞳孔直径认知负荷研究, rPPG技术

研究
#DMS #IMS #认知负荷 #pupil
驾驶员认知负荷评估：从瞳孔直径到多模态融合的量化方法在IMS中的实现
https://dapalm.com/2026/09/04/2026-09-04-cognitive-load-assessment-pupil-multimodal-ims/
作者
Mars
发布于
2026年9月4日
许可协议