Drive&Act 描述数据集深读:DMS 输出接口正在从分类标签走向自然语言——细粒度驾驶员活动描述的第一个 LLM 评分基准(ITSC 2026)

DMS 圈正在讨论把视觉语言模型(VLM)装进座舱,但几乎没有人回答一个前置问题:如果 DMS 的输出从”17 类标签”变成一句自然语言描述,该怎么训练、怎么验收? Lerch 等(arXiv 2606.02273,IEEE ITSC 2026)给出了第一个可量化的答案:他们把经典数据集 Drive&Act 改造成自然语言描述数据集(372 个原子动作单元扩成 460 条细粒度描述),用 LLM 评分体系(BERTScore/CLAIR/G-VEval ACCR)测了三个 VLM,零样本最好成绩只有 60.14/100(coarse)和 48.88(fine);LoRA 微调后冲到 91.34 与 79.77,且在没见过任何数据的 DMD 跨集上把 ACCR 从 66.12 拉到 76.33——但拆开看,准确度一项几乎纹丝不动(71.35→71.04),涨的全是完整性和相关性。

这个”涨在哪里、不涨在哪里”对 IMS 团队是关键信息:描述微调教会 VLM 的是”该说什么”,不是”认得对不对”——描述型输出不能替代检测置信度,两者是互补层而非替代层。本文拆解这条数据管线、三个 VLM 的零样本落差、微调的冻结策略消融,以及 LLM-as-judge 验收体系的坑;它是”VLM 进座舱”系列的第一块评测地基。与站内已有内容的分工:VLM 应用综述(2026-03-13)与 VLM-DMS 应用探索(2026-06-03)是”能做什么”,本文是”怎么训练怎么验收”;11-04 的 LLM 语音代理实测文证明的是”交互有注意力成本”,本文提供的是交互系统最想要的输入形态——一句可读的驾驶员状态描述。

本文为 A 型(论文深读型)。信源:主文 arXiv 2606.02273 全文 HTML 两轮抓取逐节核对(所有表格数字两轮一致才引用);底层数据集 Drive&Act(Martin 等,ICCV 2019)与 DMD(Ortega 等,ECCV 2020 Workshops)条目经主文参考文献列表核对,DMD 的 41 小时/37 人/三相机规格与 arXiv 2008.12085 原文摘要交叉验证;三个被测 VLM 与两个 LLM 评分方法的引文条目均出自主文参考文献。限制必须声明:①论文数据集的总 clip 数自始至终未公布(只有”每类约 60 条”的平衡目标与消融子集 1428 样本),本文如实标注;②论文 CLAIR 列存在表/文口径出入(正文引 58.81、表格为 55.42),本文放弃引用 CLAIR 绝对值,只用两轮抓取一致的 BERTScore F1 与 ACCR;③论文结论节的”49→80”是对表格 48.88→79.77 的四舍五入,本文以表格为准。

背景:为什么 DMS 需要”描述”而不只是”标签”

传统驾驶员行为识别的输出是封闭标签集——Drive&Act 上打了六年的榜,全部是分类准确率(T-MASK、TransDARC、MultiFuser 等一系列工作)。这条范式的天花板在站内 10-28 的 agentic driving 文里已经出现过:当下游是语音代理或 LLM 推理层时,分类标签的信息带宽不够——代理需要知道”驾驶员正在伸手拿副驾脚垫上的水瓶”,而不是”取物类、置信度 0.83”。

描述型输出的卡点有两个:没有训练数据(通用视频描述数据里几乎没有车内细粒度动作),也没有验收标准(描述是开放文本,分类准确率没法算)。Lerch 等的论文正好一个卡点给了一个工具:数据上,把 Drive&Act 的动作三元组转成自然语言;验收上,借用图像描述界的 LLM 评分体系(G-VEval 的 ACCR 四维打分)。

值得注意的谱系:Drive&Act 原始论文的一作 Manuel Martin 是本文三作之一——同一个团队(现 Fraunhofer IOSB Karlsruhe,Stiefelhagen 挂 KIT)把 2019 年建的数据集续造成 2026 年的描述基准;同组 Lerch 等还有一篇同届 ITSC 2026 论文(arXiv 2606.02352,Drive&Act 上的自监督多模态对齐)。Drive&Act 这条线的数据资产在持续滚动,不是一次性买卖。

核心机制:从动作三元组到自然语言,再到 LLM 评分

数据管线:模板起步,人工收尾

管线的关键选择是”模板+人工”而不是纯生成:模板保证句子与标注一一对应(不会漂移),GPT-4o 只做语言层面的润色,语义修正全部人工。代价是不可扩展——作者在局限性一节明说,未来要用视频定位的 VLM 集成加目标跟踪/姿态估计做预标注来降低人工量。对想自建描述数据集的 IMS 团队,这是一个成本锚点:460 条描述的规模都需要”逐条人工修正+歧义逐段看视频”。

验收体系:三个指标,两种哲学

指标 类型 来源 测什么
BERTScore 嵌入相似度 语义 token 嵌入 候选与参考的语义重叠(precision/recall/F1)
CLAIR LLM 判分 0-100 EMNLP 2023 附理由的单维相似度
ACCR(G-VEval) LLM 判分 0-100 AAAI 2025 四维:准确性 Accuracy/完整性 Completeness/简洁性 Conciseness/相关性 Relevance,逐步推理后打分

ACCR 是本文的主指标,四维拆分恰好暴露了传统单一分数掩盖的东西——后面跨集实验的”准确度不动、完整性暴涨”就是这个拆分的功劳。

三个被测 VLM

Video-LLaVA(Vicuna-7B + LanguageBind ViT)、PerceptionLM(LLaMA 7B/13B + 冻结 SigLIP + Q-Former)、InternVideo2.5(InternViT + 2 层 MLP connector + InternLM2.5-7B)。全部零样本测,再选一个微调。

实验与证据:数字全部来自原文表格

零样本:细粒度是断崖

设置 模型 BERTScore F1 ACCR Mean
DAA coarse(高层) Video-LLaVA 0.50 43.28
DAA coarse PerceptionLM 0.63 58.91
DAA coarse InternVideo2.5 0.59 60.14
DAA fine(细粒度) Video-LLaVA 0.47 25.64
DAA fine PerceptionLM 0.51 45.36
DAA fine InternVideo2.5 0.51 48.88

两个信号:①从 coarse 到 fine,三个模型集体掉 12-17 个 ACCR 点——通用预训练对车内细粒度动作几乎零迁移,这正是论文立论的”fine distinctions in driver behaviors”缺口;②两个指标给出不同的冠军:BERTScore 是 PerceptionLM(0.63),ACCR 是 InternVideo2.5(60.14)——嵌入相似度与 LLM 判分不是一回事,选型时不能只看一个。(CLAIR 绝对值因论文表/文口径出入,本文不引用。)

微调:冻结 ViT 是生死线

消融在 1428 样本/17 类子集上做的冻结模式对比:凡 ViT 参与训练的配置 ACCR 掉到 33.06(coarse)/29.56(fine),ViT+connector 可训练(LLM 冻结)为 87.49/71.58。最终方案:冻结 ViT,训练 LLM + connector,LoRA、AdamW、1 epoch 热身到 1e-4 后余弦退火共 9 epochs,混合精度,约 1 帧/秒采样。

微调结果(InternVideo2.5,ACCR 四维全表):

设置 准确性 完整性 简洁性 相关性 Mean
DAA coarse 零样本 49.84 48.54 86.75 55.42 60.14
DAA coarse 微调 90.49 85.52 98.95 90.42 91.34
DAA fine 零样本 45.78 32.16 62.15 55.45 48.88
DAA fine 微调 73.55 68.21 88.46 88.88 79.77

细粒度涨幅超过 30 个点,而且四个维度同涨——说明在域内,微调同时修好了”认得对”和”说全了”。

跨集迁移:涨的是”说什么”,不是”认得对”

最关键的一张表。模型只在 Drive&Act 描述上微调,零数据迁移到 DMD 的 dBehaviourMD 子集(DMD:41 小时 RGB/深度/IR 同步视频、3 个机位、37 名驾驶员、实车+模拟器;dBehaviourMD 有 13 个粗粒度分心动作标签):

ACCR 维度 零样本 微调后 变化
准确性 71.35 71.04 -0.31
完整性 45.10 66.25 +21.15
简洁性 86.88 94.38 +7.50
相关性 61.15 73.65 +12.50
Mean 66.12 76.33 +10.21

准确性一项是微跌的。跨域时,微调教给模型的是描述的结构与粒度习惯(该提哪些物体、该说多细),而域内涨起来的”认得对”没有跟过来——这正是站内”评估协议决定结论成色”系列的又一个案例:如果这篇论文只报 Mean(66→76),读者会得出”描述微调可迁移”的乐观结论;四维拆开,迁移的真相是语言层迁移、感知层不迁移。想复用这个结论的人看 dBehaviourMD 的标签体系只有 13 个粗类,比 Drive&Act 细粒度(34 类)粗一档——“认不认得对”在这个跨集上本来就测得更松,这是解读时要留的一个边界。

论文自认的三个局限

  1. LLM judge 有偏:CLAIR/ACCR 依赖 LLM 评估器,作者只人工抽检了部分”分数-理由”对;纯词汇重叠指标又测不了开放描述——验收体系本身还没有金标准。
  2. 1 帧/秒太粗:作者明说这对细粒度动作识别不够,只为实验提速;上车时这个采样率是成本变量,不是定数。
  3. 多样性不够:作者点名需要更多样的数据集,未来方向包括标注者多样性、多轮时序描述、显式状态-意图标注。

与已有方案的关系

路线 输出 训练数据 验收指标 代表 描述型的位置
分类式行为识别 封闭标签集 Drive&Act 等 6 年积累 分类准确率 T-MASK/TransDARC/MultiFuser 带宽不够,喂不饱 LLM 下游
VLM 零样本 自由文本 通用预训练 LLM judge 本文零样本行 coarse 可用(60),fine 断崖(49)
描述微调 VLM 自由文本 Drive&Act 描述(本文) ACCR 四维 本文 91.34/79.77 域内可用;跨域语言层迁移
VLM 零样本+感知前端 标签+文本混合 两者叠加 双轨 本文未做,见路线判断 候补架构

与站内文章的分工:LLM-VLM 座舱集成(2026-03-13)与 VLM-DMS 应用探索(2026-06-03)回答”VLM 在座舱能干什么”;11-04 LLM 语音代理实测回答”交互值不值得”;MultiMental-IAS(11-04)给出”跨被试泛化会崩”的数据集侧证据——本文补的是”描述型输出的训练配方与四维验收”这一层,并且它的跨集结果与 MultiMental 的跨被试结果拼出一个完整的悲观-乐观拼图:换人难、换域也难,但语言结构层的迁移是真实的。

对 IMS 团队的启示

  1. 描述型输出现在就有可抄的训练配方:冻结视觉编码器、只训 LLM+connector、LoRA——这是最小成本的座舱适配路径,且论文证明 ViT 参与训练会崩(87.49→33.06)。供应商宣称”VLM 已上车”时,第一个该问的问题是视觉塔是否冻结。
  2. 验收必须四维拆开,只看 Mean 会被骗。准确性/完整性/简洁性/相关性的拆分把”语言迁移 vs 感知不迁移”暴露出来了——给 VLM 描述功能写验收规范时,直接沿用这四维并分别定阈值,不要接受单一总分。
  3. LLM judge 要配人工锚定。论文自己承认 judge 有偏、只做了人工抽检——这与 UN R182 修订里”评估员一致性率”的法规思路(站内 10-25 专文)是同一个问题在两个领域的投影:主观真值通道都要锚定。自建评测时,抽检比例和一致性指标要写进验收文档。
  4. 数据管线的成本锚点:460 条描述 = 逐条人工修正。模板+生成润色+人工收尾的架构可以抄,但别低估人工量;论文点出的降本方向(VLM 集成预标注+跟踪/姿态)值得在标注预算里预留实验位。
  5. 细粒度类的样本经济学:主类砍到 60、稀有类(杂志 13 条)靠重叠 clip 切子序列回收+九种增强硬补。细粒度 DMS(手机/水瓶/杂志这类视觉相似类)的数据预算基本就是这个模式——回收比采集便宜,增强只能救尾类。
  6. 描述层和检测层是互补,不是替代:跨集实验证明描述微调不提升感知准确度。架构上正确的位置是把 VLM 描述当作分类/检测管线之上的”语义投影层”,给语音代理与人机交互消费——而不是把检测置信度换成一句描述。

路线判断(均为本文推测,附可证伪点)

  1. 描述型输出会在 2027-2028 年进入 DMS 供应商的 API 层。依据:VLM 进座舱的趋势已明确(站内 CES 2026 综述、LLM 语音代理实测),本文补上了训练与验收的最后一块。可证伪点:若 2027 年量产 DMS 发布会仍只讲分类标签与置信度,判断失败。
  2. LLM-as-judge 会成为舱内 VLM 评测的事实标准,但必须带人工锚定层。依据:ACCR/CLAIR 已被本文用于舱内任务,四维拆分的可解释性是法规侧(锚定评估员)能接受的结构。可证伪点:若出现一个被多家采信的统一开放基准(带人工标注锚集),单一 judge 的地位被架空。
  3. Drive&Act 描述数据集的开放程度决定这条线的复现速度。论文承诺数据集与代码在 GitHub 公开,但截至本文动笔尚未给出可访问链接,且数据集总规模未公布。可证伪点:若半年内数据集未实际放出或只放出部分,描述型路线的数据瓶颈不解决,Fraunhofer IOSB/KIT 线的先发优势会变成护城河。

参考

  1. D. J. Lerch, S. Mulugurthi, M. Martin, F. Diederichs, R. Stiefelhagen, “Vision-language Models for Driver Monitoring Systems: A Driver Activity Description Dataset,” IEEE ITSC 2026. https://arxiv.org/abs/2606.02273 (全文 HTML 两轮精读)
  2. M. Martin, A. Roitberg, M. Haurilet, M. Horne, S. Reiß, M. Voit, R. Stiefelhagen, “Drive & Act: A Multi-modal Dataset for Fine-grained Driver Behavior Recognition in Autonomous Vehicles,” ICCV 2019(经 [1] 参考文献列表核对)
  3. J. D. Ortega, N. Kose, P. Cañas, M.-A. Chao, A. Unnervik, M. Nieto, O. Otaegui, L. Salgado, “DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis,” ECCV 2020 Workshops. https://arxiv.org/abs/2008.12085
  4. D. M. Chan, S. Petryk, J. E. Gonzalez, T. Darrell, J. Canny, “CLAIR: Evaluating Image Captions with Large Language Models,” EMNLP 2023(经 [1] 参考文献列表核对)
  5. T. C. Tong, S. He, Z. Shao, D. Yeung, “G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o,” AAAI 2025(经 [1] 参考文献列表核对)
  6. B. Lin et al., “Video-LLaVA: Learning United Visual Representation by Alignment Before Projection,” arXiv:2311.10122(经 [1] 参考文献列表核对)
  7. J. H. Cho et al., “PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding,” 2025(经 [1] 参考文献列表核对)
  8. Y. Wang et al., “InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling,” arXiv 2025(经 [1] 参考文献列表核对)
  9. D. J. Lerch, L. Majer, Z. Zhong, M. Martin, F. Diederichs, R. Stiefelhagen, “Multi-modal Video Representation Alignment for Robust Self-supervised Driver Distraction Detection,” IEEE ITSC 2026. https://arxiv.org/abs/2606.02352
  10. 站内互链:VLM 视觉语言模型 DMS 应用探索、LLM-VLM InCabin 集成、LLM 语音代理注意力成本实测、MultiMental-IAS 跨被试评测崩塌