UV-M3TL:统一多模态多任务辅助驾驶感知框架——DMS+OMS+ADAS 一体化(论文解读)

论文信息

  • 标题: UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception
  • 作者: Wenzhuo Liu, Qiannan Guo, Zhen Wang 等 12 人
  • 发表: arXiv(2026年2月1日)
  • 核心贡献: 统一框架同时处理驾驶员状态+乘员状态+道路场景感知,多模态多任务联合优化

1. 核心创新

1.1 问题:ADAS 与 DMS 分离

现状 问题
DMS 和 ADAS 独立模型 计算资源浪费
驾驶员状态和道路场景不关联 信息割裂
多模态数据未联合利用 信号冗余

1.2 UV-M3TL 统一框架

2. 多任务设计

任务 模态 输出 Euro NCAP 关联
疲劳检测 内摄 二级/一级警告 DSM
分心检测 内摄+CAN 警告/正常 DSM
情绪识别 内摄+语音 7类情绪 增强
CPD 雷达 活体/无 OMS
乘员分类 内摄+雷达 成人/儿童/物体 OMS
前方场景 外摄 语义分割 ADAS

3. 对 IMS 的架构启示

现有 IMS UV-M3TL 启示
DMS 独立模型 共享编码器+多任务头
OMS 独立模型 同上
ADAS 独立模型 同上
模态孤立 多模态联合输入

开发优先级

优先级 任务 时间
P0 评估 UV-M3TL 框架在 QCS8255 的可行性 2027 Q1
P1 DMS+OMS 共享编码器原型 2027 Q1
P2 多任务联合训练 2027 Q2

4. 总结

UV-M3TL 代表了座舱感知的终极方向:统一模型覆盖 DMS+OMS+ADAS,共享计算资源,多任务互相增强。虽然车载部署挑战大,但架构方向是正确的。


参考来源:

  • UV-M3TL, Liu et al., arXiv(2026-02-01)
  • TEM³-Learning, Liu et al., arXiv(2025-06)
  • MMTL-UniAD, Liu et al., arXiv(2025-04)