眼动鲁棒性正在从算法精度问题升级为输入质量治理与降级控制主链路

发布时间： 2026-03-27
主题： eye tracking / robustness / degraded mode / input quality / Euro NCAP / DMS
关键词： 眼动鲁棒性、墨镜、口罩、IR/NIR、input quality、degraded mode、DMS

---

一句话结论

过去谈 DMS 眼动鲁棒性，很多团队默认是在讨论一个算法 KPI：

• gaze 准不准
• blink 稳不稳
• landmark jitter 大不大

但 2025-2026 的法规与产业信号已经把这个问题改写成了另一种系统命题：

眼动鲁棒性不再只是模型精度问题，而是输入质量治理、降级控制和验证闭环的主链路。

这意味着对 IMS / DMS 团队来说，真正该建设的已经不只是更强的 gaze 网络，而是：

1. 正式的 input quality / observability 输出
2. 明确的 degraded mode 策略
3. 围绕墨镜、口罩、弱光、头动、遮挡的系统级回归矩阵

---

1. 为什么“鲁棒性”已经不是一个附属优化项

DMS 眼动链路天然容易被真实世界打穿：

• 墨镜遮挡瞳孔反射
• 口罩改变下半脸几何约束
• 夜间或逆光导致图像质量波动
• 驾驶员频繁转头造成 landmark 抖动
• 座舱结构差异导致 camera geometry 改变

如果把这些问题只理解为“模型不够强”，团队通常会陷入两个误区：

1.1 误区一：继续堆算法精度

这会让项目长期停留在：

• 调网络
• 补数据
• 换 backbone
• 提升 benchmark accuracy

但量产现场真正最常见的失败往往不是“完全识别不出来”，而是：

• 输入已经不可靠，但系统还假装可靠
• gaze 角度开始漂，但上层还在按正常状态发告警
• eye-based feature 已经崩了，却没有及时切换到 head-pose-only 或 degraded policy

1.2 误区二：把降级看成异常兜底

很多系统只在彻底失效时才标记 unavailable。

问题是现实里更常见的是“半失效”：

• 还能看见脸，但看不清眼
• 能输出 gaze，但 jitter 很大
• 能估 blink，但时序可靠性变差
• 能看见 head pose，但眼睑状态不可信

真正危险的不是 unavailable，而是 低可信输入伪装成正常输入。

---

2. 法规与产业信号已经在明确抬高这件事的重要性

2.1 Smart Eye 对 Euro NCAP 2026 的解读很直接

Smart Eye 在 2025 年关于 Euro NCAP 2026 的公开解读里明确指出：

• 2026 的 DMS 权重显著提高
• 直接监测（眼动、头动）成为核心
• 供应商必须保证系统在真实世界条件下可靠工作
• 需要处理 不同光照条件 以及 墨镜、口罩、胡须等遮挡
• 如果没有可靠 eye tracking，系统会落入 degraded mode，并影响评分

这条信号很重要。

它本质上说明：

Euro NCAP 评价的不只是“你有没有眼动能力”，而是“你在现实遮挡与复杂光照下，能否知道自己什么时候还能信、什么时候该降级”。

2.2 Anyverse 的跨区域标准总结进一步放大了验证问题

Anyverse 对 Euro NCAP / C-NCAP / NHTSA 的对比总结里，也反复强调：

• 真实测试条件包含 night/day lighting、partial occlusions、varied postures、cabin geometries
• IR/NIR 成像表现、误报漏报鲁棒性、不同人群与座舱差异都在被显式考虑
• 工程难点不只是训练，而是覆盖难采样的边缘条件和跨车型验证

这说明鲁棒性问题已经从单车型算法问题，升级为：

• 跨市场
• 跨座舱
• 跨传感器配置
• 跨验证协议

的共性主线。

---

3. 学术侧也在给出同一个结论：低成本眼动方案的关键挑战不是“能不能跑”，而是“什么时候不该信”

2025 年 MDPI Sensors 论文《Low-Cost Eye-Tracking Fixation Analysis for Driver Monitoring Systems Using Kalman Filtering and OPTICS Clustering》非常有代表性。

这篇工作展示了：

• 用普通 RGB 视频也能提取 fixation 相关特征
• 通过 Kalman filter、OPTICS 聚类、affine normalization 可以明显降低 jitter
• 这种低成本 pipeline 有机会作为现有 DMS/ADAS 的软件升级路径

但论文同时也明确承认：

• 方案仍然对 光照变化和头动 敏感
• 未来仍需要 NIR sensing、adaptive calibration、更大规模验证

这给 IMS 的启示不是“RGB 足够了”，而是另一点：

即便是可运行的低成本方案，也必须围绕输入稳定性、头动补偿、光照敏感性和可观测性边界来设计，而不是只看它能不能输出 gaze。

---

4. 对 IMS 架构的真正启示：把 eye tracking 当成“可退化感知链路”来设计

我更倾向于把眼动链路分成四层。

4.1 Sensing Layer

负责原始感知：

• RGB / IR / NIR 图像
• 曝光、反射、遮挡、blur、glint 条件
• camera geometry / mounting 差异

4.2 Feature Layer

负责可解释特征：

• eye landmarks
• pupil observability
• eyelid openness
• gaze vector
• head pose
• fixation stability

4.3 Quality Layer

这是过去最容易缺失的一层：

• eye_visible_score
• pupil_confidence
• blink_reliability
• landmark_jitter_score
• glare_flag
• occlusion_type
• head_motion_stability
• input_quality_score

4.4 Decision / Degraded Layer

根据 quality 决定：

• full_eye_tracking
• gaze_limited_mode
• head_pose_only_mode
• distraction-only fallback
• unavailable / manual supervision emphasis

没有这两层（Quality + Degraded），系统就很难真正量产稳定。

---

5. 真正需要标准化的不是 gaze 本身，而是 input quality schema

比起继续讨论某个 gaze MAE 提高了多少，我更关心团队有没有正式定义类似下面的 schema：

{
  "eye_tracking_state": "full | limited | degraded | unavailable",
  "input_quality_score": 0.62,
  "left_eye_visibility": 0.18,
  "right_eye_visibility": 0.21,
  "blink_reliability": 0.34,
  "gaze_stability": 0.41,
  "occlusion_type": ["sunglasses"],
  "illumination_state": "low_ir_contrast",
  "recommended_fallback": "head_pose_only"
}

这种 schema 的价值非常现实：

• 上层 DMS 可以决定哪些特征还可用
• HMI 可以避免基于伪可靠输入误报
• 验证团队可以直接统计 degraded coverage
• 跨 SoC / 跨车型移植时更容易做一致性回归

---

6. 为什么 degraded mode 会成为下一阶段的主竞争点

很多团队把 degraded mode 理解成“识别失败时打个 log”。

这显然太弱了。

更成熟的 degraded strategy 至少应包含三类能力：

6.1 Feature-level fallback

例如：

• 眼睛不可见时停用 gaze angle
• 保留 head orientation / phone use / pose 粗特征
• 降低 eye-based drowsiness 权重

6.2 Decision-level adaptation

例如：

• 提高 warning threshold 的保守性
• 不再输出细粒度 eye engagement
• 对不确定状态给出更稳健的 supervision 策略

6.3 Validation-level auditability

例如：

• 记录进入 degraded 的原因
• 记录持续时长
• 记录是否正确退出 degraded
• 记录 degraded 条件下告警是否明显偏移

这本质上已经不是视觉模型优化，而是系统控制问题。

---

7. IMS 开发里最容易低估的三个工程点

7.1 墨镜不是“一个遮挡类样本”那么简单

墨镜会同时影响：

• pupil observability
• glint pattern
• eyelid contour
• NIR 透过性
• 反射/镜面噪声

也就是说，它不只是识别难度上升，而是观测机制本身被改写。

7.2 口罩会改变 head/face 关联稳定性

很多轻量级 pipeline 会利用脸部几何帮助眼区稳定。

口罩虽然不一定直接遮眼，但会改变：

• lower-face landmark 可用性
• face alignment 稳定性
• affine normalization 效果

所以口罩并不是“和眼动无关”。

7.3 夜间 IR/NIR 不等于天然稳

很多人觉得上了 NIR 就万事大吉。

实际上夜间仍会遇到：

• 反射不均
• 戴眼镜导致 specular highlight
• 传感器噪声
• 多材料内饰干扰
• 不同供应商 camera module 差异

所以夜间方案的重点并不是“有没有 NIR”，而是是否能把 NIR 条件下的可观测性边界建模出来。

---

8. 对验证矩阵的直接建议

下一阶段的回归矩阵不该只写：

• 日 / 夜
• 有 / 无墨镜
• 有 / 无口罩

这太粗了。

更合理的是：

8.1 输入条件维度

• 光照：白天 / 夜间 / 逆光 / 动态过曝
• 遮挡：墨镜类型 / 口罩 / 帽檐 / 胡须 / 反光镜片
• 姿态：轻微转头 / 大角度转头 / 低头 / 后仰
• 车内差异：座椅高度 / camera FOV / cabin geometry

8.2 质量状态维度

• eye_visible_score bucket
• landmark jitter level
• gaze stability level
• blink reliability level
• degraded mode entry/exit

8.3 动作结果维度

• warning latency shift
• false alert drift
• drowsiness score stability
• distraction judgment consistency
• fallback correctness

验证目标要从：

• gaze 准不准

升级为：

• 输入退化时系统有没有做对的降级动作

---

9. 对 IMS 团队最实际的五条建议

建议 1：把 input quality 设为正式输出

不要再把 quality 只留在调试图里。

建议 2：把 degraded mode 设计成产品能力

不是错误处理，而是正式运行模式。

建议 3：把 head-pose-only 作为可验证 fallback

很多场景下它比“继续输出不可信 gaze”更安全。

建议 4：围绕墨镜/口罩/NIR 建专门回归资产

这类数据不该零散补，而应成为长期 regression suite。

建议 5：把质量层接入统一干预层

让上游不确定性真正影响 warning、escalation、takeover 策略，而不是只影响 debug confidence。

---

结论

DMS 眼动鲁棒性的下一阶段，不是谁先把 gaze 网络再提 1 个点，而是谁先承认并工程化这件事：

• 输入会退化
• 可观测性会波动
• 眼动链路必须有质量语义
• 系统必须知道什么时候继续信、什么时候该降级

对 IMS 来说，真正成熟的路线不是“永不失效的 eye tracking”，而是：

把 eye tracking 做成一条带 input quality、degraded mode 和可审计回归闭环的可退化感知链路。

这才是 2026 之后更接近量产现实的设计方式。

---

参考来源

1. Smart Eye, Driver Monitoring 2.0: How Euro NCAP is Raising the Bar in 2026, 2025-04-29
   https://smarteye.se/blog/driver-monitoring-euro-ncap-2026/
2. Anyverse, Global Driver & In-Cabin Monitoring Standards: Euro NCAP, NHTSA & C-NCAP Comparison, 2025-09-25
   https://anyverse.ai/global-driver-in-cabin-monitoring-standards-euro-ncap-nhtsa-c-ncap-comparison/
3. MDPI Sensors, Low-Cost Eye-Tracking Fixation Analysis for Driver Monitoring Systems Using Kalman Filtering and OPTICS Clustering, 2025-11-17
   https://www.mdpi.com/1424-8220/25/22/7028