DAOS:驾驶员动作-物体协同数据集——细粒度驾驶行为识别新基准(论文解读)

论文信息

  • 标题: DAOS: A Multimodal In-cabin Behavior Monitoring with Driver Action-Object Synergy Dataset
  • 作者: Yiming Li, Chen Cai, Tianyi Liu, Dan Lin, Wenqian Wang, Wenfei Liang, Bingbing Li, Kim-Hui Yap
  • 发表: arXiv(2026年1月17日)
  • 核心贡献: 驾驶员动作-物体协同标注数据集,解决相似动作区分难题

1. 核心问题

1.1 驾驶员行为识别的细粒度挑战

难点 示例 DAOS 方案
动作相似 “持手机”vs”握方向盘” 物体标注辅助区分
上身受限 仅手部可见 动作+物体协同
上下文缺失 不知在操作什么 物体类别+位置

1.2 动作-物体协同

核心洞察: 驾驶员动作的识别不仅依赖动作本身,还需理解所交互的物体。

动作 物体 危险等级
持握 手机 🔴 高危
持握 方向盘 🟢 正常
触摸 中控屏 🟡 中等
触摸 后视镜 🟡 中等
饮水 水杯 🟡 中等

2. DAOS 数据集

维度 规格
标注 动作类别 + 物体类别 + 物体位置
模态 RGB + IR 视频
场景 真实驾驶 + 仿真
动作类别 15+ 细粒度
物体类别 10+ 座舱内常见物体

3. Euro NCAP 场景映射

Euro NCAP 场景 DAOS 动作-物体 检测要点
D-02 手机使用 持握+手机 动作+物体双确认
D-03 视线偏离 — 不直接适用
安全带误用 持握+安全带错误位置 物体位置异常

4. 对 IMS 的开发启示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
class ActionObjectDetector(nn.Module):
"""
动作-物体协同检测器(DAOS思路)

同时检测驾驶员动作和交互物体
双重确认降低误报率
"""

def __init__(self, n_actions=15, n_objects=10):
super().__init__()

# 共享视觉编码器
self.encoder = nn.Sequential(
nn.Conv2d(3, 64, 3, stride=2, padding=1), nn.ReLU(),
nn.Conv2d(64, 128, 3, stride=2, padding=1), nn.ReLU(),
nn.AdaptiveAvgPool2d((4, 4)),
)

# 动作分类头
self.action_head = nn.Sequential(
nn.Linear(128*16, 256), nn.ReLU(),
nn.Linear(256, n_actions)
)

# 物体分类头
self.object_head = nn.Sequential(
nn.Linear(128*16, 256), nn.ReLU(),
nn.Linear(256, n_objects)
)

# 物体位置回归头 (x, y, w, h)
self.bbox_head = nn.Linear(256, 4)

def forward(self, x):
feat = self.encoder(x).flatten(1)
return {
'action': self.action_head(feat),
'object': self.object_head(feat),
'bbox': self.bbox_head(feat),
}

开发优先级

优先级 任务 时间
P0 DAOS 数据集下载验证 2027 Q1
P0 动作-物体双确认 D-02 场景 2027 Q1
P1 安全带误用检测扩展 2027 Q2

5. 总结

DAOS 首次提出动作-物体协同标注范式,通过物体信息辅助区分相似动作,显著降低误报率。对 Euro NCAP D-02 手机使用场景和安全带误用场景有直接价值。


参考来源:

  • DAOS, Li et al., arXiv(2026-01-17)