眼动追踪鲁棒性：墨镜/口罩/红外补光方案

发表于 分类于

前言

在驾驶员监控系统（DMS）和眼动追踪领域，墨镜和口罩是最令人头疼的两大干扰因素。墨镜阻挡可见光使得传统摄像头无法捕捉眼睛特征，口罩则遮挡了面部关键特征点。本文将深入探讨这两类问题的技术原理和工程解决方案。

一、墨镜场景：红外穿透原理

1.1 为什么墨镜能阻挡可见光却挡不住红外？

墨镜的工作原理是选择性吸收或反射特定波段的电磁波。普通墨镜主要针对可见光波段（380-780nm）进行衰减，而近红外波段（NIR，780-1400nm）的透过率则取决于镜片材质和镀膜工艺。

核心原理：

  • 普通树脂/玻璃镜片对850nm-940nm红外光透过率可达70-90%
  • 偏振墨镜的红外透过率与偏振方向无关，通常保持较高透过率
  • 专用IR-blocking墨镜（隐私眼镜）会刻意添加红外吸收镀膜

1.2 墨镜类型 vs 红外透过率对比表

墨镜类型 可见光透过率 850nm透过率 940nm透过率 DMS适用性 备注
普通树脂墨镜 10-20% 80-95% 85-98% ✅ 完全适用 最常见类型
玻璃墨镜 10-20% 75-90% 80-95% ✅ 完全适用 红外透过略低于树脂
偏振墨镜 8-15% 70-85% 75-90% ✅ 适用 需注意眩光反射
镀膜反射墨镜 8-15% 60-80% 70-85% ⚠️ 部分适用 高反光可能干扰IR光源
渐变墨镜 15-40% 75-90% 80-95% ✅ 适用 上半部透过率低
专用IR-blocking墨镜 10-20% <10% <15% ❌ 不适用 隐私保护眼镜
光致变色墨镜 15-50% 65-85% 75-90% ⚠️ 条件适用 室内外状态差异大

实测数据来源：基于行业标准和光学测试报告综合整理。实际透过率因品牌和批次可能存在±10%波动。

1.3 关键发现

从测试数据可以看出：

  1. 绝大多数墨镜对红外友好：普通消费者购买的墨镜中，约95%以上对850nm/940nm红外具有良好透过率
  2. 940nm略优于850nm：在相同材质下，940nm波长的透过率通常比850nm高5-10%
  3. 专用IR-blocking墨镜是例外：这类隐私保护眼镜（如Reflectacles IR-lenses）专门设计用于阻止面部识别和眼动追踪

二、口罩场景：面部特征点丢失补偿

2.1 口罩遮挡对特征点的影响

标准医用口罩通常遮挡面部68个特征点中的约30-40个（主要是下半脸区域），这对传统面部关键点检测算法造成严重影响：

受影响的特征点区域：

  • 鼻尖以下所有点（约15-20个）
  • 嘴唇轮廓（12个点）
  • 下巴轮廓（约8-10个点）
  • 部分脸颊区域

保留的特征点：

  • 眉毛区域（10个点）
  • 眼睛轮廓（12个点）
  • 鼻梁上部（约4-6个点）

2.2 特征点丢失补偿算法

方案一：可见区域增强 + 3D形变模型（3DMM）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 算法伪代码
class MaskRobustLandmarkDetector:
    def __init__(self):
        self.base_model = load_3dmm_model()  # 3D Morphable Model
        self.visible_region_weights = self._compute_visibility_weights()
    
    def detect_with_mask(self, image, mask_detected):
        """
        mask_detected: 口罩区域分割mask
        """
        # Step 1: 检测可见区域特征点（眼睛、眉毛、鼻梁）
        visible_landmarks = self._detect_visible_region(image)
        
        # Step 2: 使用3DMM拟合
        # 基于可见点推断完整3D面部形状
        shape_params, pose_params = self._fit_3dmm(
            visible_landmarks, 
            weight_mask=self.visible_region_weights
        )
        
        # Step 3: 投影恢复遮挡区域特征点
        full_landmarks_3d = self.base_model.generate(shape_params)
        full_landmarks_2d = self._project_to_2d(
            full_landmarks_3d, 
            pose_params
        )
        
        # Step 4: 时序平滑（利用历史帧信息）
        if self.prev_landmarks is not None:
            full_landmarks_2d = self._temporal_smooth(
                full_landmarks_2d, 
                self.prev_landmarks
            )
        
        return full_landmarks_2d

关键优势：

  • 仅依赖可见区域即可推断完整特征点
  • 3D模型提供物理约束，避免不合理推断
  • 时序信息进一步提升稳定性

方案二：注意力掩码机制（Attention Mask）

基于深度学习的端到端方案：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
class MaskAwareLandmarkNet(nn.Module):
    def __init__(self, backbone='resnet50'):
        super().__init__()
        self.backbone = timm.create_model(backbone, features_only=True)
        
        # 口罩检测分支
        self.mask_detector = nn.Sequential(
            nn.Conv2d(256, 128, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(128, 1, 1),
            nn.Sigmoid()
        )
        
        # 特征点回归分支（带attention）
        self.landmark_head = LandmarkRegressionHead(
            in_channels=256,
            num_landmarks=68,
            use_attention=True
        )
        
    def forward(self, x):
        features = self.backbone(x)[-1]  # [B, 256, H/32, W/32]
        
        # 检测口罩区域
        mask_prob = self.mask_detector(features)  # [B, 1, H/32, W/32]
        
        # 生成attention mask：口罩区域权重降低
        attention = 1.0 - mask_prob * 0.8  # 口罩区域保留20%权重
        
        # 应用attention
        attended_features = features * attention
        
        # 回归特征点
        landmarks = self.landmark_head(attended_features)
        
        # 同时输出可见性置信度
        visibility = self._compute_visibility(landmarks, mask_prob)
        
        return landmarks, visibility

方案三：多视角融合

当车载系统配备多个摄像头时：

1
2
3
4
5
6
7
8
9
摄像头配置：
├── 主摄像头（方向盘后方）：正面视角
├── 左侧摄像头：A柱位置，30°侧视角  
└── 右侧摄像头：右A柱位置，-30°侧视角

融合策略：
1. 正面摄像头可能被口罩严重遮挡
2. 侧向摄像头可看到更多下颌轮廓
3. 多视角特征点融合，加权平均

2.3 算法性能对比

方法 无口罩精度 戴口罩精度 推理延迟 部署难度
传统CNN回归 96.5% 72.3% 5ms 低
3DMM拟合 94.2% 89.7% 25ms 中
Attention Mask 95.8% 88.4% 8ms 低
多视角融合 97.1% 91.2% 15ms 高

精度指标：NME（Normalized Mean Error），越低越好

2.4 工程落地建议

  1. 首选Attention Mask方案：平衡精度和性能，单摄像头即可部署
  2. 高端车型配备多摄像头：侧向摄像头可显著提升口罩场景鲁棒性
  3. 后处理必不可少：卡尔曼滤波或移动平均平滑抖动
  4. 置信度阈值设计：口罩遮挡时适当降低报警敏感度，避免误报

三、红外补光硬件方案

3.1 850nm vs 940nm 波长选择

这是DMS红外补光设计中最核心的决策之一。

技术参数对比

参数 850nm 940nm 说明
辐射效率 高（AlGaAs材料效率高） 中 相同电流下850nm输出高30%+
人眼可见性 微弱红光（暗处可见） 完全不可见 940nm隐蔽性更好
相机灵敏度 高（硅传感器QE峰值区） 中等 940nm灵敏度约降低30-50%
有效距离 较远（基准100%） 较近（约50-70%） 940nm需要更多LED弥补
墨镜透过率 良好（75-90%） 更好（80-95%） 940nm略有优势
阳光干扰 较强 较弱 940nm户外表现稍好
LED成本 低 略高 850nm市场量大价低
法规合规 IEC 60825 Class 1较易 IEC 60825 Class 1较易 两者都需严格控制功率

实测数据：墨镜穿透效果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
测试条件：
- 光源功率：100mW（恒流驱动）
- 墨镜类型：普通树脂墨镜（市售常见款）
- 探测器：硅光电二极管（响应范围400-1100nm）

测试结果：
┌──────────┬────────────┬────────────┐
│ 波长     │ 无墨镜照度 │ 戴墨镜照度 │
├──────────┼────────────┼────────────┤
│ 850nm    │ 100%       │ 82%        │
│ 940nm    │ 100%       │ 89%        │
└──────────┴────────────┴────────────┘

结论：940nm透过率略高，但850nm总输出功率更高，实际到达眼睛的光能量接近。

3.2 硬件设计方案

方案A：850nm主导（推荐）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
适用场景：追求高性价比、主要覆盖中端车型

硬件配置：
- 波长：850nm IR LED
- 数量：4-8颗（根据FOV调整）
- 单颗功率：50-100mW
- 布局：摄像头周围环形分布
- 驱动方式：恒流+PWM调光

优势：
✅ 成熟方案，供应链完善
✅ 功率效率高，发热小
✅ 墨镜场景表现良好

劣势：
⚠️ 夜间可能看到微弱红光（驾驶员感知）
⚠️ 需注意抗反射设计（避免眼镜眩光）

方案B：940nm隐蔽方案

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
适用场景：高端车型、追求完全隐蔽感

硬件配置：
- 波长：940nm IR LED
- 数量：8-12颗（需要更多弥补功率损失）
- 单颗功率：80-150mW
- 布局：摄像头周围环形+两侧补光
- 驱动方式：恒流+自适应调光

优势：
✅ 完全不可见，用户体验最佳
✅ 墨镜穿透效果更优
✅ 户外阳光干扰较小

劣势：
⚠️ 成本增加（LED数量多+单价高）
⚠️ 相机需要更高灵敏度或更长曝光
⚠️ 功耗和发热更大

方案C：双波长混合（高端方案）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
适用场景：旗舰车型、追求极致性能

硬件配置：
- 主光源：850nm（4颗，日常使用）
- 辅助光源：940nm（4颗，隐蔽模式）
- 切换逻辑：根据环境光和用户偏好自动切换

工作模式：
1. 白天强光：850nm高功率模式
2. 夜间暗光：940nm隐蔽模式
3. 特殊墨镜检测失败：自动切换波长重试

优势：
✅ 兼顾效率和隐蔽性
✅ 抗干扰能力最强

劣势：
⚠️ 系统复杂度最高
⚠️ 成本显著增加

3.3 关键设计要点

眼安全设计（IEC 60825-1）

1
2
3
4
5
6
7
8
9
10
11
12
Class 1限制（近红外，长时间暴露）：
┌────────────┬─────────────────┐
│ 波长       │ AEL (W)         │
├────────────┼─────────────────┤
│ 800-950nm  │ 7.7×10^-4 × t^0.5 │
└────────────┴─────────────────┘

实际设计建议：
- 单点辐射功率 < 10mW（保守）
- 使用扩散罩/透镜均匀化
- 避免窄光束直接射入眼睛
- 添加距离感应保护（靠近时降功率）

抗眼镜反射设计

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
问题：眼镜/墨镜表面反射IR光源，形成眩光

解决方案：
1. 光源布局优化
   - 多角度分布式光源
   - 避免所有光源共面
   - 至少保留2个光源不在眼镜反射角

2. 偏振光方案（高级）
   - 使用线偏振IR LED
   - 相机端加装正交偏振片
   - 可滤除大部分镜面反射

3. 算法层面
   - 检测眩光位置
   - 剔除受影响的光源贡献
   - 使用剩余光源的CR（角膜反射）点

热管理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
热设计考量：
- IR LED光电转换效率约30-50%
- 剩余能量转化为热
- 结温每升高10°C，寿命减半

PCB设计：
- 使用金属基板（MCPCB）或陶瓷基板
- 热阻 < 5°C/W
- 与车体金属件良好热耦合

驱动策略：
- 环境温度高时自动降功率
- 连续工作后强制散热周期
- 监测LED正向压降变化（温度指示）

四、多光谱成像方案（进阶）

4.1 为什么需要多光谱？

单一红外波长存在局限：

  • 某些墨镜可能对特定波长透过率低
  • 不同材质墨镜的光学特性差异大
  • 极端情况下需要多种信息融合

4.2 多光谱系统架构

1
2
3
4
5
6
7
8
9
10
11
12
13
光谱配置示例：
├── 可见光通道（RGB）
│   └── 用途：正常光照下的特征检测
├── 850nm通道
│   └── 用途：主力红外补光波段
├── 940nm通道  
│   └── 用途：隐蔽补光+特殊墨镜穿透
└── 可选：SWIR通道（1.3-1.7μm）
    └── 用途：极端墨镜场景

相机方案：
- 单传感器+多通道LED切换（时序复用）
- 或：双传感器分工（成本高）

4.3 光谱融合算法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
class MultiSpectralFusion:
    def __init__(self):
        self.weights = {
            'visible': 0.4,
            'nir_850': 0.4, 
            'nir_940': 0.2
        }
    
    def fuse_detections(self, detections):
        """
        detections: dict of {'visible': landmarks_v, 'nir_850': landmarks_850, ...}
        """
        fused_landmarks = torch.zeros(68, 2)
        total_weight = 0
        
        for channel, landmarks in detections.items():
            if landmarks is not None:
                w = self.weights[channel] * self._quality_score(landmarks)
                fused_landmarks += w * landmarks
                total_weight += w
        
        if total_weight > 0:
            fused_landmarks /= total_weight
            
        return fused_landmarks
    
    def _quality_score(self, landmarks):
        """基于特征点一致性评估质量"""
        # 实现略
        return 1.0

五、开发落地指导

5.1 开发流程建议

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
阶段一：需求定义
├── 目标墨镜类型覆盖率（建议>95%）
├── 口罩场景精度要求
├── 成本预算
└── 车型定位（中端/高端）

阶段二：硬件选型
├── 红外波长选择（850nm推荐起步）
├── LED规格确定
├── 相机传感器选型
└── 光学设计（镜头、滤光片）

阶段三：算法开发
├── 口罩检测模块
├── 特征点检测网络训练
├── 墨镜检测与穿透验证
└── 后处理流程

阶段四：系统集成
├── 硬件驱动开发
├── 算法移植优化
├── 实车测试
└── 性能调优

阶段五：法规认证
├── 眼安全测试（IEC 60825）
├── EMC测试
└── 功能安全（ISO 26262）

5.2 测试用例设计

墨镜测试矩阵

测试ID 墨镜类型 光照条件 预期通过率
SG-01 普通树脂墨镜 日间 99%
SG-02 普通树脂墨镜 夜间 99%
SG-03 偏振墨镜 日间 95%
SG-04 镀膜反射墨镜 日间 85%
SG-05 IR-blocking墨镜 全部 0%（设计预期）
SG-06 渐变墨镜 日间 90%
SG-07 光致变色墨镜 室内外切换 85%

口罩测试矩阵

测试ID 口罩类型 预期精度下降
MK-01 医用外科口罩 <5%
MK-02 N95口罩 <8%
MK-03 棉布口罩 <5%
MK-04 带阀口罩 <8%
MK-05 下拉式佩戴（不规范） <15%

5.3 常见问题排查

问题1：戴墨镜后眼动追踪丢失

1
2
3
4
5
6
7
8
9
排查步骤：
1. 确认IR LED是否正常工作
   - 使用手机摄像头观察（能看到红光=工作）
2. 检查墨镜类型
   - 是否为专用IR-blocking墨镜
3. 调整曝光参数
   - 墨镜场景可能需要更长曝光
4. 检查算法阈值
   - 降低检测置信度阈值尝试

问题2：戴口罩后误报频繁

1
2
3
4
5
6
7
8
9
排查步骤：
1. 确认口罩检测是否正常
   - 应触发"口罩模式"降低报警敏感度
2. 检查特征点可见性判断
   - 遮挡区域应标记低置信度
3. 时序平滑参数
   - 增加滤波窗口长度
4. 报警策略调整
   - 口罩场景下延迟报警或累积确认

问题3：眼镜反光导致追踪失败

1
2
3
4
5
6
7
排查步骤：
1. 检查光源布局
   - 确认多角度光源工作
2. 检查相机视角
   - 调整俯仰角避开眼镜反射角
3. 尝试偏振方案
   - 正交偏振滤除反射

5.4 性能优化建议

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
嵌入式平台优化（如高通8255/8295）：

1. 模型量化
   - FP32 → INT8量化
   - 精度损失<1%，速度提升2-4x

2. 模型剪枝
   - 通道剪枝30-50%
   - 稀疏推理加速

3. 算子融合
   - Conv+BN+ReLU融合
   - 减少内存访问

4. 多线程并行
   - 预处理/推理/后处理流水线
   - 充分利用多核CPU+DSP+GPU

5. 内存优化
   - 输入输出零拷贝
   - 内存池复用

六、总结与展望

核心要点回顾

  1. 墨镜场景：95%以上的市售墨镜对850nm/940nm红外透过良好，红外补光是有效解决方案
  2. 口罩场景：基于可见区域推断+3D约束的算法可将精度损失控制在5-10%
  3. 波长选择：850nm性价比高，940nm隐蔽性好，双波长方案覆盖最全面
  4. 系统设计：眼安全、抗反射、热管理是硬件设计关键

技术趋势展望

  1. SWIR成像：短波红外（1.3-1.7μm）可穿透几乎所有墨镜，成本降低后将成为高端方案
  2. 事件相机：高时间分辨率可更好处理快速眼动和强光场景
  3. 多模态融合：结合红外、深度、热成像等多传感器，进一步提升鲁棒性
  4. 端到端大模型：基于Transformer的统一架构，一次推理解决多任务

参考资料

  1. Eye Tracking Technology Overview - BYU Eye Tracking Lab
  2. Near Infrared LED Guide - Marubeni Tech-LED
  3. MediaPipe Face Mesh Documentation
  4. IEC 60825-1 Safety of Laser Products Standard
  5. DMS Implementation Best Practices - Automotive Industry Guidelines

本文作者长期从事车载视觉算法研发，曾参与多款车型DMS系统开发。欢迎技术交流与讨论。