GazeDiT:扩散模型生成注视准确的合成眼图像,视线追踪训练数据的新来源
GazeDiT:扩散模型生成注视准确的合成眼图像,视线追踪训练数据的新来源
arXiv 2609.17814 论文解读
“GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning”, arXiv, 2026.09
论文信息
| 项目 | 内容 |
|---|---|
| 标题 | GazeDiT: Gaze-Accurate Diffusion Image Generation for Eye Tracking via Spatial Conditioning |
| arXiv | 2609.17816 |
| 日期 | 2026年9月15日 |
| 核心 | 扩散模型生成gaze-accurate合成眼图像,用于视线追踪训练 |
核心创新
用扩散模型(Diffusion Model)生成合成眼图像,且注视标签准确到足以提升真实世界视线追踪性能。
关键突破:解决了合成训练数据的”gaze accuracy”问题——以往合成眼图像的注视标签与真实注视方向有偏差,GazeDiT通过空间条件控制确保生成的图像与注视标签一致。
与DistillGaze的互补关系
graph LR
subgraph "GazeDiT (数据生成)"
GD[扩散模型<br/>空间条件控制]
GD --> SYNTH[合成眼图像<br/>注视标签精确]
end
subgraph "DistillGaze (训练框架)"
DG[两步蒸馏]
DG --> MODEL[256K设备端模型<br/>1.44°误差]
end
SYNTH -->|训练数据| DG
style GD fill:#e1f5
style DG fill:#e1f5
组合效果: GazeDiT生成 + DistillGaze训练 = 端到端无真实标注视线追踪管道。
方法:空间条件扩散
1 | """ |
生成质量评估
| 维度 | Blender渲染 | GazeDiT扩散 | 优势 |
|---|---|---|---|
| 注视标签精度 | ✅ 像素级 | ✅ 空间条件控制 | 平局 |
| 纹理真实度 | ⚠️ 偏合成 | ✅ 接近真实 | GazeDiT |
| 噪声特性 | ❌ 无传感器噪声 | ✅ 可模拟 | GazeDiT |
| 3D资产需求 | ✅ 需要眼模型 | ❌ 不需要 | GazeDiT |
| 相机参数适配 | ✅ 精确控制 | ⚠️ 需训练 | Blender |
| 多样性 | ⚠️ 受3D资产限制 | ✅ 扩散采样 | GazeDiT |
| 生成速度 | ✅ 快(渲染) | ⚠️ 扩散较慢 | Blender |
IMS开发启示
1. 合成数据管道的完整形态
graph TB
subgraph "数据来源"
BLD[Blender渲染<br/>精确3D+相机参数]
GAZ[GazeDiT扩散<br/>真实纹理+注视标签]
REAL[未标注真实IR<br/>被动收集]
end
subgraph "训练框架"
DIST[DistillGaze<br/>两步蒸馏]
end
subgraph "输出"
MODEL[256K设备端模型<br/>1.44°误差]
end
BLD --> DIST
GAZ --> DIST
REAL --> DIST
DIST --> MODEL
2. 对DMS的部署路径
| 步骤 | 工具 | 输入 | 输出 |
|---|---|---|---|
| 1 | Blender/GazeDiT | 相机参数+注视方向 | 合成眼图像+标签 |
| 2 | 被动收集 | 正常驾驶 | 未标注真实IR |
| 3 | DistillGaze Stage 1 | 合成+未标注真实 | 86M Teacher |
| 4 | DistillGaze Stage 2 | Teacher→Student | 256K模型 |
| 5 | 部署 | 256K模型 | CPU推理<1ms |
3. 与NVIDIA Omniverse的关系
| 组件 | 角色 | 来源 |
|---|---|---|
| NVIDIA Omniverse | 3D场景渲染(座舱+乘员) | NVIDIA |
| GazeDiT | 2D眼图像生成(注视准确) | arXiv |
| DistillGaze | 训练框架(两步蒸馏) | ECCV |
| 组合 | Omniverse场景+GazeDiT眼部+DistillGaze训练 | 完整管道 |
局限性
- 扩散生成慢:相比Blender渲染,扩散模型生成速度较慢
- 注视一致性:扩散生成可能偏离标注注视方向,需验证器
- arXiv预印:未经同行评审
- 仅眼部图像:未扩展到全脸/全身
- 训练数据依赖:扩散模型需初始眼图像训练
结论
GazeDiT与DistillGaze组合形成端到端无标注视线追踪管道:
- GazeDiT生成注视准确的合成眼图像——比Blender渲染纹理更真实
- DistillGaze用合成+未标注真实图像训练——无需标注周期
- 256K模型CPU运行——全系标配可行
对IMS的启示:合成数据生成正从3D渲染走向扩散模型,两者互补而非替代。
参考来源:
- arXiv: 2609.17814 (GazeDiT, 2026.09.15)
- ECCV 2026: DistillGaze (两步蒸馏)
- Blender: 3D渲染合成眼图像
- DINOv3: Meta AI Visual Foundation Model
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!