驾驶员视线估计 2026 前沿:从区域分类到对象级预测的技术跃迁

核心观点: 2026 年驾驶员视线估计正经历从”视线区域分类”到”视线对象预测”的范式转变。本文综述 5 篇最新论文(TransGaze-Object、LISA、SGAP-Gaze、DHECA-SuperGaze、EraW-Net),解析技术演进路线和 IMS 集成启示。

1. 技术演进概览

1.1 范式转变

阶段 任务定义 输出 精度 年代
L1 区域分类 视线属于哪个区域 6-9 类 粗 2018-2022
L2 场景关联 视线+场景上下文 区域+关联 中 2024
L3 无约束 任意头部姿态 连续角度 中高 2025
L4 对象级 注视哪个物体 对象 ID+位置 高 2026
L5 精确点 注视点坐标 (x,y) 像素 极高 2026

2. 五篇论文解析

2.1 TransGaze-Object(2026-09,最新)

核心创新: Transformer 预测驾驶员注视的具体物体(如后视镜、仪表盘、手机),而非粗略区域。

维度 传统区域法 TransGaze-Object
输出 6-9 区域分类 物体类别+BBox
精度 区域级 物体级
模型 CNN 分类 Transformer 序列建模
时序 单帧 多帧时序
场景理解 无 物体检测+关联

2.2 LISA(2026-05)

核心创新: 语言引导的干扰感知空间频率注意力机制。

组件 功能
语言引导 用自然语言描述场景(”前方有行人”)增强理解
干扰感知 识别并抑制干扰源(阳光、阴影)
空间频率注意力 在空间域和频率域同时建模

2.3 SGAP-Gaze(2026-04,v2 2026-09)

核心创新: 场景网格注意力机制,直接预测注视点(point-of-gaze)坐标。

维度 传统方法 SGAP-Gaze
输出 视线角度 注视点(x,y)
场景表示 全局特征 网格注意力图
分辨率 区域级 像素级

2.4 DHECA-SuperGaze(2025-05)

核心创新: 双头眼交叉注意力 + 超分辨率,解决无约束(大角度头部运动)注视估计。

技术 作用
双头眼交叉注意力 头部姿态和眼部特征交互建模
超分辨率 增强低分辨率眼部图像
无约束场景 大角度偏航/俯仰

2.5 EraW-Net(2024)

核心创新: 增强-精炼-对齐 W-Net,关联驾驶员视线与场景内容。

3. 技术对比矩阵

论文 年份 架构 输出 时序 场景 边缘部署
TransGaze-Object 2026.09 Transformer 物体+BBox ✅ ✅ ⚠️ 重
LISA 2026.05 双域注意力 视线角度 ❌ ✅ ⚠️ 中
SGAP-Gaze 2026.04 网格注意力 注视点(x,y) ❌ ✅ ✅ 轻
DHECA-SuperGaze 2025.05 交叉注意力+SR 视线角度 ❌ ❌ ⚠️ 重
EraW-Net 2024.08 W-Net 区域+关联 ❌ ✅ ✅ 中

4. IMS 集成路线

4.1 技术选型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
class GazeEstimationSelector:
"""
IMS 视线估计模型选型指南

基于 2026 前沿论文的技术选型矩阵
"""

SELECTION_MATRIX = {
# (功能, 约束): 推荐方案
('distraction_detection', 'edge'): {
'method': 'SGAP-Gaze (轻量级)',
'reason': '网格注意力+像素级注视点,边缘友好',
'accuracy': '像素级',
'latency': '<10ms (INT8 NPU)',
},
('distraction_detection', 'high_acc'): {
'method': 'TransGaze-Object',
'reason': '物体级预测最精确,但需Transformer',
'accuracy': '物体级',
'latency': '<30ms (需优化)',
},
('cognitive_load', 'edge'): {
'method': 'EraW-Net (场景关联)',
'reason': '视线-场景关联可推断认知负荷',
'accuracy': '区域级',
'latency': '<15ms',
},
('large_motion', 'edge'): {
'method': 'DHECA-SuperGaze',
'reason': '大角度头部运动鲁棒',
'accuracy': '角度级',
'latency': '<20ms (需去SR)',
},
('night_adverse', 'edge'): {
'method': 'LISA (干扰感知)',
'reason': '语言引导+干扰抑制,适合夜间/逆光',
'accuracy': '角度级',
'latency': '<15ms',
},
}

def select(self, function: str, constraint: str = 'edge') -> dict:
key = (function, constraint)
result = self.SELECTION_MATRIX.get(key)
if not result:
return {'error': f'No match for {function}/{constraint}'}
return result


# 测试
if __name__ == "__main__":
selector = GazeEstimationSelector()

scenarios = [
('distraction_detection', 'edge'),
('distraction_detection', 'high_acc'),
('cognitive_load', 'edge'),
('night_adverse', 'edge'),
]

for func, constraint in scenarios:
r = selector.select(func, constraint)
print(f"\n{func} ({constraint}):")
print(f" 方案: {r['method']}")
print(f" 精度: {r['accuracy']}")
print(f" 延迟: {r['latency']}")

4.2 Euro NCAP 2026 分心检测场景对照

Euro NCAP 场景 所需精度 推荐方案 预期表现
D-01 正常驾驶(基线) 区域级 EraW-Net ✅ 正常区域分类
D-02 手机使用 物体级 TransGaze-Object ✅ 精确检测手机注视
D-03 视线偏离道路 像素级 SGAP-Gaze ✅ 偏离角度精确
D-04 侧窗注视 区域级 EraW-Net ✅ 侧窗区域
D-05 后视镜注视 物体级 TransGaze-Object ✅ 后视镜物体
D-06 仪表盘注视 区域级 EraW-Net ✅ 仪表盘区域

4.3 开发优先级

优先级 任务 时间 论文依赖
P0 SGAP-Gaze 轻量化部署(INT8 NPU) 2026 Q4 SGAP-Gaze
P0 手机使用检测(D-02 场景) 2026 Q4 TransGaze-Object
P1 夜间/逆光鲁棒性增强 2027 Q1 LISA
P1 大角度头部运动鲁棒性 2027 Q1 DHECA-SuperGaze
P2 视线-场景关联认知负荷 2027 Q2 EraW-Net
P2 物体级 Transformer 轻量化 2027 Q2 TransGaze-Object

5. 总结

核心洞察

  1. 从区域到对象是最大趋势:2026 年最前沿工作(TransGaze-Object)直接预测注视物体,而非粗略区域
  2. 场景上下文越来越重要:LISA、SGAP-Gaze 都将场景信息融入视线估计
  3. 像素级注视点成为可能:SGAP-Gaze 的网格注意力可直接输出(x,y)坐标
  4. 边缘部署仍是挑战:Transformer 方案需要轻量化才能上车

对 IMS 的启示

  • 短期: SGAP-Gaze 轻量化部署 + 手机检测(D-02 场景)优先实现
  • 中期: 场景关联(EraW-Net 思路)+ 夜间鲁棒性(LISA 思路)
  • 长期: 物体级 Transformer 轻量化后实现全场景覆盖

参考来源:

  • TransGaze-Object, Sharma et al., arXiv(2026-09)
  • LISA, Ma et al., arXiv(2026-05)
  • SGAP-Gaze, arXiv(2026-04, v2 2026-09)
  • DHECA-SuperGaze, Šikić et al., arXiv(2025-05)
  • EraW-Net, Zhou et al., arXiv(2024-08)