眼动追踪鲁棒性：墨镜、口罩、IR补光的降级控制策略

核心挑战

眼动追踪是 DMS 的基础能力，但在实际场景中面临多种干扰：

干扰因素	影响	发生频率
墨镜	遮挡眼睛，无法检测瞳孔	高（白天、驾驶）
口罩	遮挡下半脸，影响头部姿态估计	中（后疫情时代）
帽子	遮挡额头和眉毛，影响特征点	中
逆光	面部阴影，降低特征可见性	高（早晚、隧道）
暗光	红外补光不足，噪点增加	高（夜间）

---

技术方案

1. IR 红外补光

原理： 使用近红外光（850nm/940nm）照射面部，提高眼部特征可见性

波长	特点	适用场景
850nm	可见轻微红光，补光强	墨镜透光率高的场景
940nm	完全不可见，补光弱	隐私敏感场景

墨镜透光问题：

• 普通墨镜：阻挡可见光，但 IR 可穿透
• 偏光墨镜：可能阻挡部分 IR
• 镜面墨镜：阻挡几乎所有光（包括 IR）

2. 多波长 IR 融合

方案： 使用多个波长的 IR 补光，提高穿透率

┌─────────────────────────────────────────┐
│         多波长 IR 补光架构               │
├─────────────────────────────────────────┤
│  850nm LED ─── 主补光（穿透力强）        │
│       ↓                                  │
│  940nm LED ─── 辅助补光（隐形）          │
│       ↓                                  │
│  摄像头 ────── 接收反射信号              │
│       ↓                                  │
│  算法 ──────── 波长融合 + 眼动估计       │
└─────────────────────────────────────────┘

3. 降级控制策略

当眼动追踪不可用时，降级到其他模态：

级别	可用能力	检测方式
L1 正常	眼动 + 头部	完整眼动追踪
L2 降级	头部姿态	头部追踪（无眼动）
L3 最低	车辆行为	方向盘、车道保持

降级触发条件：

def get_tracking_level(eye_visible, face_visible, vehicle_data):
    """
    确定追踪级别
    """
    if eye_visible:
        return "L1"  # 正常眼动追踪
    elif face_visible:
        return "L2"  # 降级到头部姿态
    else:
        return "L3"  # 最低级别，仅车辆行为

---

墨镜场景处理

方案一：IR 穿透检测

适用： 普通墨镜（非镜面）

流程：

1. IR 补光照射眼睛
2. 检测瞳孔反射（普尔金耶像）
3. 估计视线方向

限制： 偏光墨镜可能阻挡 IR

方案二：头部姿态替代

适用： 镜面墨镜（IR 无法穿透）

流程：

1. 检测墨镜遮挡（无眼部特征）
2. 降级到头部姿态估计
3. 通过头部朝向推断视线大致方向

准确率： 约 70-80%（相比眼动的 95%+）

方案三：多传感器融合

结合其他信号：

• 方向盘操作（微调整频率）
• 车道保持（稳定性）
• 驾驶时长（疲劳累积）

---

口罩场景处理

影响

检测项	口罩影响	应对策略
眼动追踪	❌ 无影响	正常检测
头部姿态	⚠️ 部分影响	使用眼部+额头特征
面部表情	✅ 严重影响	无法检测嘴部表情
身份识别	⚠️ 部分影响	使用眼部特征识别

方案

优先使用眼部特征：

• 眼动追踪（正常）
• 眉毛运动（辅助疲劳检测）
• 额头皱纹（表情推断）

避免依赖下半脸：

• 不使用嘴部特征
• 不依赖完整的面部轮廓

---

逆光/暗光场景处理

逆光

问题： 背景光强，面部阴影重

方案：

• 增强IR 补光强度
• HDR 图像合成
• 阴影区域的局部增强

暗光

问题： 环境光不足，图像噪点多

方案：

• IR 补光主导
• 降低曝光时间（避免运动模糊）
• 降噪算法

---

对 IMS 开发的启示

1. 降级控制是必须能力

IMS 需要实现：

• 多级别降级策略
• 降级状态提示
• 降级时的检测精度说明

2. 墨镜检测与分类

IMS 需要新增：

• 墨镜检测（遮挡眼部）
• 墨镜类型分类（普通/偏光/镜面）
• 根据类型选择检测策略

3. 多模态融合

融合信号：

眼动追踪 ───┐
             ├→ 疲劳/分心评分 → 干预决策
头部姿态 ───┤
             │
车辆行为 ───┘

4. 系统状态监控

需要监控的状态：

• 眼动追踪可用性
• 头部检测质量
• IR 补光状态
• 图像质量指标

---

技术路线建议

短期（3个月内）

1. 降级控制实现

   • L1/L2/L3 三级降级
   • 降级触发条件检测
   • 降级状态输出

2. 墨镜检测

   • 遮挡检测
   • 类型分类（初步）

中期（3-6个月）

3. 多波长 IR 融合

   • 评估硬件需求
   • 算法开发

4. 多模态融合

   • 眼动 + 头部 + 车辆行为
   • 提高降级时的检测能力

---

关键结论

1. 墨镜、口罩、逆光、暗光是眼动追踪的主要干扰因素
2. IR 补光可穿透普通墨镜，但镜面墨镜需要降级策略
3. 降级控制是必须能力：L1眼动 → L2头部 → L3车辆行为
4. 口罩场景优先使用眼部特征，避免依赖下半脸
5. 多模态融合可提高降级时的检测能力

---

参考资料

• Tobii: How Eye Tracking Works
• Seeing Machines: Driver Monitoring Technology
• Euro NCAP 2026 DSM Assessment Protocol

---

相关阅读：

• 眼动鲁棒性正在从算法精度问题升级为输入质量治理与降级控制主链路
• Mobileye DMS 正在将认知分心检测从眼动追踪升级为道路意识关联