UV-M3TL:统一多模态多任务辅助驾驶感知框架——DMS+OMS+ADAS 一体化(论文解读)
UV-M3TL:统一多模态多任务辅助驾驶感知框架——DMS+OMS+ADAS 一体化(论文解读)
论文信息
- 标题: UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception
- 作者: Wenzhuo Liu, Qiannan Guo, Zhen Wang 等 12 人
- 发表: arXiv(2026年2月1日)
- 核心贡献: 统一框架同时处理驾驶员状态+乘员状态+道路场景感知,多模态多任务联合优化
1. 核心创新
1.1 问题:ADAS 与 DMS 分离
| 现状 | 问题 |
|---|---|
| DMS 和 ADAS 独立模型 | 计算资源浪费 |
| 驾驶员状态和道路场景不关联 | 信息割裂 |
| 多模态数据未联合利用 | 信号冗余 |
1.2 UV-M3TL 统一框架
graph TD
A[多模态输入] --> B[共享编码器]
B --> C[驾驶员分支<br/>疲劳/分心/情绪]
B --> D[乘员分支<br/>CPD/OOP/分类]
B --> E[道路分支<br/>前方场景理解]
C --> F[联合损失]
D --> F
E --> F
style B fill:#e1f5fe
style F fill:#e8f5e9
2. 多任务设计
| 任务 | 模态 | 输出 | Euro NCAP 关联 |
|---|---|---|---|
| 疲劳检测 | 内摄 | 二级/一级警告 | DSM |
| 分心检测 | 内摄+CAN | 警告/正常 | DSM |
| 情绪识别 | 内摄+语音 | 7类情绪 | 增强 |
| CPD | 雷达 | 活体/无 | OMS |
| 乘员分类 | 内摄+雷达 | 成人/儿童/物体 | OMS |
| 前方场景 | 外摄 | 语义分割 | ADAS |
3. 对 IMS 的架构启示
| 现有 IMS | UV-M3TL 启示 |
|---|---|
| DMS 独立模型 | 共享编码器+多任务头 |
| OMS 独立模型 | 同上 |
| ADAS 独立模型 | 同上 |
| 模态孤立 | 多模态联合输入 |
开发优先级
| 优先级 | 任务 | 时间 |
|---|---|---|
| P0 | 评估 UV-M3TL 框架在 QCS8255 的可行性 | 2027 Q1 |
| P1 | DMS+OMS 共享编码器原型 | 2027 Q1 |
| P2 | 多任务联合训练 | 2027 Q2 |
4. 总结
UV-M3TL 代表了座舱感知的终极方向:统一模型覆盖 DMS+OMS+ADAS,共享计算资源,多任务互相增强。虽然车载部署挑战大,但架构方向是正确的。
参考来源:
- UV-M3TL, Liu et al., arXiv(2026-02-01)
- TEM³-Learning, Liu et al., arXiv(2025-06)
- MMTL-UniAD, Liu et al., arXiv(2025-04)
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Dapalm | IMS技术前沿!