婴儿3D姿态蒸馏:从无标注视频学习的基础模型迁移——CPD儿童检测新路径
婴儿3D姿态蒸馏:从无标注视频学习的基础模型迁移——CPD儿童检测新路径
论文信息
- 标题: Cross-Model Distillation of a Human-Pose Foundation Model from Unannotated Infant Video for Markerless 3D Pose Estimation
- 会议: ECCV 2026 Workshop MoCha
- 作者: R. James Cotton 等
- 链接: https://arxiv.org/abs/2609.01840
- 核心方法: Sapiens 2(教师)→ SAM 3D Body(学生)跨模型蒸馏,无标注婴儿视频训练
核心创新
首次通过跨模型蒸馏从无标注婴儿视频学习3D姿态估计。 婴儿姿态估计的困境:所有主流姿态基础模型都训练在成人数据上,婴儿体型/运动模式完全不同。
解决方案:
- 冻结Sapiens 2(Meta的2D姿态模型)作为教师,在婴儿视频上生成密集伪标签
- SAM 3D Body(3D人体模型)作为学生,通过可微分渲染对齐
- 仅用无标注视频,不依赖任何婴儿姿态标注
结果:
- 2D关键点精度:PCK@10px 0.22 → 0.42(提升91%)
- 3D关节位置误差:25.5mm → 22.2mm(降低13%)
- 在11名婴儿、18次session、173段录像上验证
方法详解
1. 蒸馏流程
flowchart LR
A[无标注婴儿视频] --> B[教师: Sapiens 2<br/>冻结]
B --> C[2D密集伪标签<br/>关键点热力图]
C --> D[学生: SAM 3D Body<br/>可训练]
D --> E[3D mesh预测]
E --> F[可微分渲染<br/>渲染到2D]
F --> G[与伪标签对齐]
G --> H[Loss反向传播<br/>仅更新学生]
2. 核心代码
1 | import torch |
3. 蒸馏效果
| 指标 | 蒸馏前 | 蒸馏后 | 提升 |
|---|---|---|---|
| PCK@10px (body) | 0.22 | 0.42 | +91% |
| PCK@10px (face) | 0.22 | 0.42 | +91% |
| MPJPE (mm) | 25.5 | 22.2 | -13% |
| Procrustes MPJPE | 25.5 | 22.2 | -13% |
IMS开发启示
1. 对CPD儿童检测的直接价值
| CPD需求 | 婴儿姿态蒸馏贡献 | 可行性 |
|---|---|---|
| 检测婴儿存在 | 姿态检测→乘员分类 | ✅ 高 |
| 婴儿呼吸检测 | 胸部关键点运动 | ⚠️ 中 |
| 异常姿态 | 3D关节角度 | ✅ 高 |
| 安全座椅安装 | 关节角度→坐姿评估 | ⚠️ 中 |
2. 婴儿vs成人姿态差异
| 维度 | 成人 | 婴儿 | 影响 |
|---|---|---|---|
| 体型比例 | 头身比1:7 | 头身比1:4 | 模型需重训练 |
| 运动模式 | 自主运动 | 非自主运动 | 运动模型不同 |
| 关节活动度 | 有限 | 极大(胎儿姿势) | 超出训练分布 |
| 皮肤纹理 | 丰富 | 光滑 | 视觉特征不同 |
| 尺度 | ~170cm | ~50cm | 需尺度归一化 |
3. 蒸馏方法→IMS的迁移
1 | class IMSDistillationStrategy: |
4. CPD技术路线更新
| 阶段 | 技术 | 数据需求 | 周期 |
|---|---|---|---|
| Phase 1 | mmWave呼吸检测 | 无需标注 | 3个月 |
| Phase 2 | + 摄像头婴儿姿态蒸馏 | 无标注视频 | 6个月 |
| Phase 3 | + 3D关节角度异常检测 | 少量标注 | 9个月 |
| Phase 4 | 多模态融合(mmWave+视觉) | - | 12个月 |
5. 可微分渲染的关键启示
论文核心技术创新——可微分渲染闭环:
- 3D mesh预测 → 渲染到2D → 与2D伪标签对齐 → 梯度回传到3D
- 不需要3D标注,只需要2D伪标签(教师模型提供)
- 这对IMS的启示:可以用2D标注训练3D模型
总结
对IMS的4条可执行建议:
- 无标注蒸馏是关键方法——婴儿数据标注极其困难,蒸馏可降低成本
- 成人→儿童迁移需要蒸馏——直接使用成人模型在婴儿上失效
- 可微分渲染是2D→3D的桥梁——用2D标签训练3D模型
- 与mmWave互补——摄像头做姿态,mmWave做呼吸,融合做CPD
论文链接: https://arxiv.org/abs/2609.01840
会议: ECCV 2026 Workshop MoCha
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!