眼动追踪鲁棒性：墨镜、口罩、IR 补光下的技术方案

前言

Euro NCAP 2026 对 DMS 提出了严苛的场景覆盖要求：

25Hz 刷新率
多光照条件（隧道、强光、夜间）
多人群覆盖（不同肤色、年龄、眼镜/墨镜/口罩）

核心挑战： 如何在这些”非理想条件”下，保持眼动追踪的精度和鲁棒性。

本文聚焦三大难题：

墨镜/太阳镜：反射、偏振、深色镜片
口罩遮挡：大面积面部遮挡、边缘模糊
低光/逆光：夜间、隧道、强光环境

一、墨镜/太阳镜场景

1.1 为什么墨镜最难处理

问题	说明
反射干扰	镜面反射摄像头，形成镜像或重影
偏振效应	偏振镜片会过滤掉偏振光
镜片颜色	深色镜片（如绿色）吸收可见光
热变形	太阳镜热气导致镜片变形，影响成像

Euro NCAP 要求： 必须检测驾驶员是否佩戴眼镜/墨镜，并保持准确追踪。

1.2 传统方案：IR 红外成像

优势	说明
穿透墨镜	IR 光可穿透大部分墨镜
低光性能	IR 补光在夜间工作良好
成熟度高	传统车载方案已验证
成本低	无需额外传感器

局限性：

无法识别墨镜位置/颜色
分辨率受限（通常 VGA/SVGA）
无法穿透偏振镜片
无法区分深色镜片（可能吸收 IR）

1.3 现代方案：主动 IR + 多摄像头

方案	说明
双目/多目架构	双 IR 摄像头，冗余追踪
IR + RGB 融合	白天用 RGB，夜间/墨镜用 IR
主动 IR 投射	增强眼部区域对比度

关键技术：

立体匹配：区分真实眼睛与镜片反射
深度信息：利用双目视差估计深度
动态切换：根据环境自动选择 RGB/IR

二、口罩遮挡场景

2.1 为什么口罩是长尾难点

问题	说明
大面积遮挡	口罩覆盖口鼻、脸颊，眼睛区域小
边缘模糊	口罩边缘导致眼睛轮廓模糊
不同口罩类型	医用口罩、布口罩、N95/棉布口罩
半遮挡	只戴一半口罩、未戴口罩

传统问题： 眼睛区域完全或部分不可见，眼动估计算法失效。

2.2 技术方案对比

方案	鲁棒性	成本	实时性
纯视觉（CNN）	低	低	中
关键点检测	中	中	高
热成像（Thermal）	高	高	中
多模态融合	高	高	低

2.3 推荐方案：关键点 + 上下文融合

输入：RGB/IR 图像
↓
特征提取：
  - 眼睛关键点（即使部分遮挡）
  - 面部轮廓
  - 眉毛/虹膜特征
↓
鲁棒算法：
  - 部分遮挡下的眼动估计
  - 置信度融合（历史+空间）
  - 上下文平滑滤波
↓
输出：眼动 + 置信度

核心思路： 即使眼睛部分可见，也能通过上下文信息和时序平滑维持追踪。

三、低光/逆光场景

3.1 低光条件

条件	照度（lux）
夜间	0.1-1
隧道	10-50
阴天	10-100
停车场	5-20

Euro NCAP 要求： 必须在夜间和低光条件下保持准确检测。

3.2 IR 补光技术

技术类型	波长	功耗	鲁棒性
850nm 近红外	低	中	高
940nm 近红外	低	高	高
主动式 IR	中	中	高

关键设计：

自动曝光控制：根据环境照度自动调节 IR 补光强度
分区补光：驾驶员/乘客不同区域独立控制
频闪同步：与摄像头曝光同步，避免频闪干扰
功耗管理：低功耗设计，避免过热

3.3 多摄像头融合策略

主摄像头（RGB）负责高照度场景
↓
副摄像头（IR）负责低光场景
↓
场景识别：
  - 识别光照条件（照度传感器/环境光）
  - 估计人脸位置和朝向
↓
动态切换：
  - 高照度 → RGB 主导
  - 低照度 → IR 主导
↓
融合输出：
  - RGB 和 IR 眼动结果融合

四、信号优先级设计

4.1 多信号融合架构

信号源	可用性	精度	延迟
RGB 图像	低光失效	高	低
IR 图像	高照度失效	中	低
头部姿态	眼睛遮挡时仍可用	高	低
眨眼检测	不受遮挡影响	高	低
历史轨迹	时序平滑	高	中

动态优先级算法：

1 2	`IF RGB 照度 > threshold THEN weight_rgb ↑ weight_ir ↓ ELSE IF IR 照度 > threshold THEN weight_ir ↑ weight_rgb ↓`

4.2 置信度融合

| 融合维度 | 算法 | 权重 |
|———-|——|——|——|
| 空间置信度 | Kalman Filter | 0.4 |
| 时序置信度 | 指数平滑滤波 | 0.3 |
| 特征置信度 | 关键点检测质量 | 0.3 |

鲁棒策略：

多维度加权投票
时序异常检测（轨迹跳变）
上下文一致性验证

五、多摄像头架构

5.1 双 IR 摄像头架构

┌─────────────────────────────────────────────────────┐
│              IR Camera 1          │     IR Camera 2       │
│  （A 柱位置）            │     （B 柱位置）          │
│                                    │                              │
│         ↓ 独立追踪                 │     ↓ 独立追踪              │
│         ↓ 特征提取                 │     ↓ 特征提取             │
│                                    │                              │
│         ┌────────────────────┐       │     ┌────────────────────┐       │
│         │  传感器融合模块      │       │  传感器融合模块      │       │
│         └────────────────────┘       │     └────────────────────┘       │
│         ↓ 统一输出                │     ↓ 统一输出             │
│                                    │                              │
└─────────────────────────────────────────────────────┘

优势：

冗余追踪，单眼遮挡不影响
立体视差，提升深度估计精度
负载均衡，单个摄像头算力压力小

5.2 RGB + IR 融合架构

场景	主导摄像头
白天、正常光照	RGB 主导
夜间、低光照	IR 主导
墨镜场景	IR 主导 + RGB 辅助

融合策略：

RGB: 提供高保真图像
IR: 提供鲁棒的眼动信号
↓
自适应权重融合:
  - 根据 IR 置信度动态调整 RGB/IR 权重
  - IR 置信度高时，增加 IR 权重
  - IR 置信度低时，增加 RGB 权重
↓
输出: 融合眼动 + 置信度

六、边缘部署优化

6.1 模型压缩

方法	精度损失	推理加速	部署大小
剪枝（Pruning）	1-3%	1.5-2x	40%
量化（FP16）	1-5%	2-4x	50%
INT8 量化	1-5%	3-6x	25%
知识蒸馏	2-5%	2-4x	40%

推荐策略： FP16 量化平衡精度和性能，在算力受限的边缘设备上保持 90%+ 准确率。

6.2 推理引擎选择

引擎	硬件加速	移植性	开发效率
SNPE/QNN	NPU	低（仅 Snapdragon）	高
TensorRT	GPU	高	高
OpenVINO	NPU	中	中
ONNX Runtime	通用	高	高

高通平台推荐： SNPE/QNN 引擎 + INT8 量化，针对 SA8255/SA8295 优化。

6.3 内存优化

优化策略	说明
模型共享	多模型共享显存
张量内存复用	复用中间结果
输入量化	降低输入数据精度（FP16）
流水线优化	减少中间结果存储

七、Euro NCAP 2026 合规建议

7.1 测试覆盖

场景	必须满足
多光照	✅ 高照度、低照度、夜间
遮挡	✅ 手臂、物体、口罩
人群	✅ 不同肤色、年龄、性别
配饰	✅ 眼镜/墨镜、帽子

7.2 性能指标

指标	Euro NCAP 要求
眼动追踪精度	25Hz 输出，误差 <2°
多场景鲁棒性	遮挡/低光下保持追踪
置信度输出	0-1.0 范围
误报率	<5%

八、对 IMS 开发的直接启示

启示 1：多摄像头架构是 Euro NCAP 2026 的标配

双目/多 IR 摄像头已成为主流方案
能有效处理墨镜、口罩、低光场景
满足 Euro NCAP 的场景覆盖要求

启示 2：IR 补光是夜间/低光的必选项

单 RGB 无法满足夜间要求
需要 IR 补光 + 自动曝光控制
功耗与性能需平衡

启示 3：信号融合是提升鲁棒性的关键

RGB + IR + 头姿 + 眨眼多信号融合
动态优先级权重调整
时序平滑滤波

启示 4：边缘部署需要模型优化

FP16/INT8 量化是量产必选项
剪枝、知识蒸馏是有效手段
推理引擎选择需适配硬件平台

九、开发优先级建议

优先级	任务	说明
P0	多摄像头架构设计	双 IR + RGB 融合
P0	IR 补光系统	自动曝光控制 + 功耗管理
P1	鲁棒算法	关键点检测 + 置信度融合
P1	信号优先级管理	动态权重调整
P2	边缘部署优化	模型压缩 + 推理引擎选择
P2	Euro NCAP 测试场景覆盖	多光照、遮挡、人群

十、结论

Euro NCAP 2026 对 DMS 的鲁棒性要求是”非理想条件”下的准确性和可靠性保证。

对于 IMS 开发团队：

多摄像头架构是解决遮挡、低光、墨镜问题的核心方案
IR 补光**是夜间/低光场景的必选项
信号融合是提升鲁棒性的关键技术
边缘部署优化是量产落地的关键

核心判断： 谁能在最苛刻场景下保持眼动追踪的精度和稳定性，谁就能在 Euro NCAP 2026 测试中占据优势。

参考资料

Smart Eye, Euro NCAP 2026: New Standards for Occupant Monitoring and Adaptive Restraints, 2025-06-25.
Euro NCAP 2026 Assessment Protocols.
Edge AI & Vision Alliance, In-cabin Sensor Advancements: Radar or 3D Cameras?, 2025.
Qualcomm SNPE/QNN Documentation.

技术路线分析 > IMS开发

#Euro NCAP #DMS #眼动追踪 #鲁棒性 #墨镜 #口罩 #IR补光

眼动追踪鲁棒性：墨镜、口罩、IR 补光下的技术方案

https://dapalm.com/2026/03/12/2026-03-12-眼动追踪鲁棒性：墨镜、口罩、IR补光下的技术方案/

作者

Mars

发布于

2026年3月12日

许可协议

边缘部署优化：DMS 模型压缩、量化与推理引擎选择上一篇

60GHz 雷达 CPD 方案：穿透遮挡的生命体征检测下一篇