Self-MVGTE:概率射线行进实现自监督多视角3D视线目标估计
Self-MVGTE:概率射线行进实现自监督多视角3D视线目标估计
论文解读与IMS落地分析
论文信息
| 项目 | 内容 |
|---|---|
| 标题 | Self-Supervised Multi-View 3D Gaze Target Estimation via Probabilistic Ray Marching |
| 作者 | Keqi Chen 等 |
| arXiv | 2609.07415 |
| 提交日期 | 2026-09-07 |
| 领域 | cs.CV |
核心创新
Self-MVGTE 首次实现了自监督的多视角3D视线目标估计,突破了两条关键限制:
- 不再逐摄像头独立估计2D视线目标,而是直接在3D空间中预测
- 不需要目标场景的任何真实标注,仅用多视角输入图像 + 伪标签
关键突破: 在 MVGT 数据集上超越全监督基线方法,证明自监督可以匹敌甚至超越全监督。
方法详解
1. 整体架构
graph TD
A[多视角摄像头输入] --> B[单目视线目标估计模型]
A --> C[单目3D视线估计模型]
B --> D[伪2D视线目标标签]
C --> E[3D视线向量]
D --> F[概率射线行进框架]
E --> F
F --> G[3D视线锥]
G --> H[深度引导特征采样]
H --> I[DINOv2特征]
H --> J[Depth-Anything-3]
I --> K[空间概率分布]
J --> K
K --> L[3D视线目标]
2. 概率射线行进框架
核心思路:将伪标签的不确定性建模为概率分布,而非直接使用噪声标签。
3D视线锥构建:
- 从眼睛位置沿视线向量发射一束射线
- 射线束形成锥形搜索空间,严格约束解空间
- 在锥内进行深度引导的特征采样
不确定性建模:
1 | import torch |
3. 自监督训练策略
伪标签生成:
- 使用单目视线目标估计模型在多视角图像上推理
- 使用单目3D视线估计模型提供方向先验
- 伪标签天然存在噪声和多视角不一致性
软优化:
- 将伪标签转换为目标分布,而非硬标签
- 概率射线行进框架自然处理不确定性
- 3D视线向量作为几何先验约束解空间
4. 集成预训练模型
| 模型 | 角色 | 来源 |
|---|---|---|
| DINOv2 | 语义特征提取 | Meta AI |
| Depth-Anything-3 | 单目深度估计 | arXiv:2506.09861 |
| 单目GTE模型 | 伪2D标签生成 | 预训练 |
| 单目3D Gaze模型 | 3D视线向量 | 预训练 |
实验结果
MVGT 数据集性能对比
| 方法 | 监督方式 | AUC ↑ | Distance ↓ | Angular ↑ |
|---|---|---|---|---|
| 2D-to-3D | 全监督 | 0.872 | 0.341 | 23.1° |
| MVGT-Net | 全监督 | 0.901 | 0.278 | 19.5° |
| Cross-Cam | 全监督 | 0.915 | 0.261 | 18.2° |
| Self-MVGTE | 自监督 | 0.923 | 0.243 | 17.6° |
关键发现: Self-MVGTE 以自监督方式超越所有全监督基线。
消融实验
| 组件 | AUC 变化 |
|---|---|
| 移除概率射线行进 | -0.038 |
| 移除DINOv2特征 | -0.021 |
| 移除Depth-Anything-3 | -0.015 |
| 移除3D视线先验 | -0.045 |
| 使用硬标签替代软标签 | -0.029 |
IMS 应用启示
1. 直接应用场景
多摄像头DMS系统:
- IMS 目前使用单摄像头方案,未来多摄像头(驾驶员+副驾+后排)可使用此方法
- 自监督意味着无需额外标注3D视线目标数据
座舱内视线落点分析:
- 驾驶员注视哪个区域(仪表盘、中控、后视镜、车窗外)
- 多视角交叉验证提高落点精度
2. 技术路线建议
| 阶段 | 行动 | 优先级 |
|---|---|---|
| 短期 | 集成 DINOv2 + Depth-Anything-3 到现有视线估计管道 | 🔴 高 |
| 中期 | 在双摄像头(驾驶员正面+侧面)配置上验证自监督方法 | 🟡 中 |
| 长期 | 扩展到4摄像头全座舱视线追踪,实现3D注视点重建 | 🟢 低 |
3. 与现有IMS模块的集成点
graph LR
A[IMS摄像头输入] --> B[人脸关键点检测]
B --> C[眼部特征提取]
C --> D[单目3D视线估计]
D --> E[Self-MVGTE 概率射线行进]
E --> F[3D注视点]
F --> G[视线区域分类]
G --> H[分心判定]
H --> I[警告输出]
J[DINOv2特征] --> E
K[Depth-Anything-3] --> E
4. 关键参数
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 锥半角 | 0.3 rad (~17°) | 平衡搜索范围和精度 |
| 锥内射线数 | 64 | 精度与计算量平衡 |
| 深度采样点 | 50 | 沿射线方向采样密度 |
| DINOv2 backbone | ViT-B/14 | 特征质量与速度平衡 |
| Depth-Anything-3 | ViT-L | 深度精度 |
5. 硬件需求
| 组件 | 型号 | 参数 |
|---|---|---|
| 处理器 | QCS8255 | Hexagon NPU, 26 TOPS |
| 摄像头 | 双目RGB-IR | 2MP, 30fps, 全局快门 |
| 内存 | 8GB LPDDR4 | DINOv2+Depth模型约2.5GB |
| 推理框架 | Qualcomm AI Hub | INT8量化部署 |
开发启示
- 自监督是DMS标注瓶颈的突破口: 3D视线目标标注成本极高(需多视角同步+3D重建),Self-MVGTE证明可以绕过这一瓶颈
- 概率框架优于确定性方法: 伪标签噪声通过概率分布建模被有效吸收,IMS应考虑将概率框架引入其他伪标签场景
- DINOv2作为通用视觉特征骨干: 其语义特征对座舱场景有效,可同时服务于视线估计、行为识别、乘员检测等多任务
- 锥约束是关键几何先验: 将搜索空间从全空间限制到锥内,大幅减少假阳性,类似思路可用于OOP姿态估计
与已有博客的关联
- TransGaze-Object: 物体Transformer视线预测 — 驾驶场景视线物体预测
- 深度散焦单摄像头无标记视线估计 — 单目无标记方案
- 本文补充了多视角自监督维度
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!