前言
车内摄像头通常安装在后视镜等可调节位置，外参会随驾驶员调整而变化。如何实时校准相机姿态？Aptiv 与 Wuppertal 大学合作发表的 InCaRPose 论文提供了创新解决方案。
一、问题背景
1.1 车内相机标定挑战
| 挑战 |
说明 |
| 外参动态变化 |
后视镜调节导致相机姿态改变 |
| 鱼眼畸变 |
宽视角镜头畸变严重 |
| 标定困难 |
车内空间有限，难以获取真值 |
| 实时性要求 |
安全应用需要实时校准 |
1.2 应用场景
| 场景 |
时间要求 |
| 驾驶员眼动追踪 |
需要准确的空间位置 |
| 乘员位置感知 |
气囊部署需要毫秒级响应 |
| 手势识别 |
需要准确的三维定位 |
二、InCaRPose 核心创新
2.1 参考相对姿态预测
| 传统方案 |
InCaRPose 方案 |
| 车辆坐标系绝对姿态 |
相对于参考帧的相对姿态 |
| 需要车辆特定训练 |
车辆无关，无需重训 |
2.2 架构设计
1
2
3
4
5
6
7
8
9
| 参考图像 + 目标图像
↓
冻结 ViT 编码器（DINOv3）
↓
Transformer 交叉注意力解码器
↓
MLP 预测头
↓
相对姿态（旋转 + 平移）
|
2.3 关键特性
| 特性 |
说明 |
| 冻结骨干 |
仅训练解码器和预测头 |
| 合成数据训练 |
仅需 6500 对合成图像 |
| 端到端鱼眼处理 |
无需去畸变预处理 |
| 度量平移输出 |
输出真实米制单位 |
三、实验结果
3.1 In-Cabin-Pose 数据集
| 指标 |
结果 |
| 平移误差（中位数） |
0.07 m |
| 旋转误差（中位数） |
2.75° |
| 推理速度 |
> 70 FPS（RTX 4090） |
3.2 与基线对比
| 方案 |
平移误差 |
旋转误差 |
| InCaRPose-Large |
0.07 m |
2.75° |
| Reloc3r |
仅方向 |
3.14° |
| SIFT 匹配 |
仅方向 |
4.52° |
3.3 7-Scenes 数据集
| 指标 |
InCaRPose |
Reloc3r |
| 旋转误差（均值） |
2.21° |
6.37° |
| 平移误差（中位数） |
0.13 m |
仅方向 |
四、技术细节
4.1 旋转表示
| 表示方式 |
维度 |
| 四元数 |
4D + 3D 平移 = 7D |
| 旋转向量 |
3D + 3D 平移 = 6D |
| 旋转矩阵 |
9D + 3D 平移 = 12D |
最佳选择：四元数 + 四元数损失
4.2 数据增强
| 增强 |
说明 |
| ColorJitter |
亮度、对比度、饱和度、色调 |
| 零填充 |
保持全视场，不裁剪 |
| 多车辆合成 |
8 辆训练，3 辆验证 |
4.3 真值获取
| 方法 |
优势 |
| ArUco 标记 |
度量真值，鲁棒 |
| COLMAP SfM |
无需标记，但有尺度模糊 |
五、对 IMS 开发的启示
5.1 相机校准策略
| 场景 |
方案 |
| 生产校准 |
标准参考帧存储 |
| 在线校准 |
InCaRPose 实时估计相对姿态 |
| 校准验证 |
定期检查外参变化 |
5.2 实现要点
| 要点 |
说明 |
| 参考帧定义 |
标准后视镜位置的相机姿态 |
| 相对姿态估计 |
检测镜面调整后的相对变化 |
| 姿态更新 |
实时更新眼动追踪的空间映射 |
5.3 精度要求
| 应用 |
精度要求 |
| 疲劳检测 |
中等（姿态偏差容忍度高） |
| 视线追踪 |
高（需要准确的空间映射） |
| 气囊部署 |
极高（毫秒级，厘米级） |
六、未来方向
6.1 论文提出
| 方向 |
说明 |
| 遮挡鲁棒性 |
乘员和物品遮挡场景 |
| 动态乘员 |
复杂动态座舱环境 |
6.2 实际应用考虑
| 考虑 |
说明 |
| 多相机融合 |
多个 DMS/OMS 相机联合校准 |
| 温度补偿 |
温度变化影响镜头和安装 |
| 长期漂移 |
长期使用后的校准漂移 |
总结
InCaRPose 的核心贡献：
- 参考相对姿态预测：车辆无关，无需重训
- 合成到真实泛化：仅 6500 对合成图像
- 度量平移输出：真实米制单位
- 实时性能：> 70 FPS
- 鱼眼端到端：无需去畸变
对于 IMS 开发，在线相机校准是提升眼动追踪精度的关键。
参考来源：
发布日期： 2026-04-10