短期注视轨迹预测:LSTM vs Transformer vs ClPr的个体差异分析
短期注视轨迹预测:LSTM vs Transformer vs ClPr的个体差异分析
论文信息
- 标题: Short-Term Gaze Prediction: Analysis of Individual Differences, Typical and Extreme-Case Errors
- 作者: Kateryna Melnyk, Lee Friedman, Oleg Komogortsev (Texas State University)
- 期刊: arXiv:2509.07126
- 链接: https://arxiv.org/abs/2509.07126
- 发表日期: 2025年9月(2026年8月更新)
- 核心方法: LSTM vs Transformer-Encoder vs ClPR,44ms预测间隔
核心创新
首次系统比较LSTM、Transformer-Encoder和分类-预测网络(ClPr)在短期注视预测中的表现,并分析个体差异和极端案例错误。发现LSTM在注视和扫视中平均更优,但Transformer在扫视后恢复期更精准。
关键发现:
- ✅ LSTM平均表现最好(注视+扫视)
- ✅ Transformer在扫视后恢复期(post-saccadic)更精准
- ✅ ClPr(分类+预测联合)在部分场景最优
- ❌ P50最好的用户不一定P95最低——需分析极端案例
- ⚠️ 个体差异显著——统一模型对不同人效果差异大
方法详解
1. 三个模型架构
flowchart TD
A[历史注视序列] --> B[LSTM<br/>3层LSTM]
A --> C[Transformer-Encoder<br/>Self-Attention]
A --> D[ClPr<br/>分类+预测联合]
B --> E[预测注视位置<br/>44ms后]
C --> E
D --> F[眼动事件分类<br/>注视/扫视/平滑跟随]
D --> E
2. 核心代码复现
1 | import torch |
3. 眼动类型对预测难度的影响
| 眼动类型 | 持续时间 | 轨迹特征 | 预测难度 | 最佳模型 |
|---|---|---|---|---|
| 注视(Fixation) | 200-600ms | 近静止 | ✅ 容易 | LSTM |
| 扫视(Saccade) | 20-80ms | 快速跳跃 | 🔴 困难 | LSTM |
| 扫视后恢复 | 50-100ms | 振荡收敛 | 🟡 中等 | Transformer |
| 平滑跟随 | 持续 | 连续运动 | 🟡 中等 | ClPr |
4. 个体差异分析
| 指标 | 发现 | IMS启示 |
|---|---|---|
| P50最优用户 | LSTM表现最好 | 量产默认LSTM |
| P95最低用户 | ≠P50最优 | 需个体校准 |
| 极端案例 | 扫视幅度>20°时误差最大 | 需特殊处理 |
| 个体间差异 | 最大3倍误差差异 | 个体基线必需 |
IMS开发启示
1. 注视预测在DMS中的应用
flowchart LR
A[DMS摄像头] --> B[注视点估计]
B --> C[注视轨迹预测<br/>44ms后]
C --> D{预测位置}
D -->|道路前方| E[✅ 注意力在路上]
D -->|中控屏| F[⚠️ 分心预警]
D -->|手机位置| G[🔴 手机分心]
D -->|窗外| H[⚠️ 视线偏离]
2. 注视预测对分心检测的价值
| 价值 | 说明 | 量化 |
|---|---|---|
| 提前预警 | 预测44ms后注视方向 | +44ms提前量 |
| 平滑滤波 | 预测+实测融合降低噪声 | -15%误差 |
| 扫视补偿 | 扫视中预测保持连续 | -30%中断 |
| 个体校准 | 基于个体P95优化 | -20%极端误差 |
3. DMS注视预测优先级
| 优先级 | 功能 | 技术方案 | 周期 |
|---|---|---|---|
| P0 | 注视点估计 | 现有方案 | 已有 |
| P1 | LSTM短期预测 | 3层LSTM, 44ms | 2个月 |
| P1 | 扫视事件分类 | ClPr模型 | 3个月 |
| P2 | 个体P95优化 | 个体基线校准 | 6个月 |
| P2 | Transformer替换 | 扫视后恢复优化 | 6个月 |
| P3 | 预测+实测融合 | 卡尔曼滤波 | 12个月 |
4. 模型选择决策矩阵
| 场景 | 推荐模型 | 理由 |
|---|---|---|
| 量产DMS | LSTM | P50最优, 推理快 |
| 高端DMS | ClPr | 分类+预测联合 |
| 研究DMS | Transformer | 扫视后恢复最优 |
| VR/AR | LSTM | 低延迟(44ms) |
| HUD注视引导 | ClPr | 需要眼动类型 |
5. 个体校准方案
1 | class IndividualGazeCalibration: |
总结
注视轨迹预测让DMS从”驾驶员在看哪”进化到”驾驶员将看哪”——44ms的提前量虽小,但在高速驾驶中意味着1.5米的提前预警。
对IMS的5条可执行建议:
- LSTM是量产首选——P50最优,推理快
- ClPr适合高端DMS——分类+预测联合,信息更丰富
- 个体P95校准是必需的——P50最优用户不一定P95最低
- 扫视事件分类提升预测质量——不同眼动类型需不同策略
- 44ms预测间隔足够——VR/AR场景已验证
论文链接: https://arxiv.org/abs/2509.07126
数据: 注视/扫视/平滑跟随多类型评估
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!