DAOS:驾驶员动作-物体协同数据集——细粒度驾驶行为识别新基准(论文解读)
论文信息
- 标题: DAOS: A Multimodal In-cabin Behavior Monitoring with Driver Action-Object Synergy Dataset
- 作者: Yiming Li, Chen Cai, Tianyi Liu, Dan Lin, Wenqian Wang, Wenfei Liang, Bingbing Li, Kim-Hui Yap
- 发表: arXiv(2026年1月17日)
- 核心贡献: 驾驶员动作-物体协同标注数据集,解决相似动作区分难题
1. 核心问题
1.1 驾驶员行为识别的细粒度挑战
| 难点 |
示例 |
DAOS 方案 |
| 动作相似 |
“持手机”vs”握方向盘” |
物体标注辅助区分 |
| 上身受限 |
仅手部可见 |
动作+物体协同 |
| 上下文缺失 |
不知在操作什么 |
物体类别+位置 |
1.2 动作-物体协同
核心洞察: 驾驶员动作的识别不仅依赖动作本身,还需理解所交互的物体。
| 动作 |
物体 |
危险等级 |
| 持握 |
手机 |
🔴 高危 |
| 持握 |
方向盘 |
🟢 正常 |
| 触摸 |
中控屏 |
🟡 中等 |
| 触摸 |
后视镜 |
🟡 中等 |
| 饮水 |
水杯 |
🟡 中等 |
2. DAOS 数据集
| 维度 |
规格 |
| 标注 |
动作类别 + 物体类别 + 物体位置 |
| 模态 |
RGB + IR 视频 |
| 场景 |
真实驾驶 + 仿真 |
| 动作类别 |
15+ 细粒度 |
| 物体类别 |
10+ 座舱内常见物体 |
3. Euro NCAP 场景映射
| Euro NCAP 场景 |
DAOS 动作-物体 |
检测要点 |
| D-02 手机使用 |
持握+手机 |
动作+物体双确认 |
| D-03 视线偏离 |
— |
不直接适用 |
| 安全带误用 |
持握+安全带错误位置 |
物体位置异常 |
4. 对 IMS 的开发启示
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
| class ActionObjectDetector(nn.Module): """ 动作-物体协同检测器(DAOS思路) 同时检测驾驶员动作和交互物体 双重确认降低误报率 """ def __init__(self, n_actions=15, n_objects=10): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(3, 64, 3, stride=2, padding=1), nn.ReLU(), nn.Conv2d(64, 128, 3, stride=2, padding=1), nn.ReLU(), nn.AdaptiveAvgPool2d((4, 4)), ) self.action_head = nn.Sequential( nn.Linear(128*16, 256), nn.ReLU(), nn.Linear(256, n_actions) ) self.object_head = nn.Sequential( nn.Linear(128*16, 256), nn.ReLU(), nn.Linear(256, n_objects) ) self.bbox_head = nn.Linear(256, 4) def forward(self, x): feat = self.encoder(x).flatten(1) return { 'action': self.action_head(feat), 'object': self.object_head(feat), 'bbox': self.bbox_head(feat), }
|
开发优先级
| 优先级 |
任务 |
时间 |
| P0 |
DAOS 数据集下载验证 |
2027 Q1 |
| P0 |
动作-物体双确认 D-02 场景 |
2027 Q1 |
| P1 |
安全带误用检测扩展 |
2027 Q2 |
5. 总结
DAOS 首次提出动作-物体协同标注范式,通过物体信息辅助区分相似动作,显著降低误报率。对 Euro NCAP D-02 手机使用场景和安全带误用场景有直接价值。
参考来源:
- DAOS, Li et al., arXiv(2026-01-17)