BATON 基准拆解:204.9 小时自然驾驶数据证明接管预测的瓶颈是信息不是模型——检测 AUPRC 0.478,预判 0.056,量产系统 0.293

L2 驾驶自动化(openpilot、stock ACC/LKA)在中国与北美的存量车上已经跑了数百万公里,但”系统什么时候会被人类接管”这件事,至今没有一个像样的公开基准:所谓接管研究,绝大多数来自模拟器或几十人的受控实验。arXiv 2604.07263(BATON,Wang、Xu、Yang、Li、Sun、Zhou,v1 2026-04-08,v2 2026-07-27,仓库标注 Under review at the KDD 2027 Datasets and Benchmarks Track)给出的是目前规模最大的自然驾驶答案:781 条路线、204.9 小时、173 名真实 openpilot 用户的真实通勤数据,切出 3,593 次双向控制权转移,定义三个基准任务。它的三个结果都值得 IMS 团队记住——检测一次进行中的接管,表格模型就能做到 sample AUPRC 0.478;但把司机输入通道抽掉、要求系统在司机动作开始前预判接管(T3-A),所有方法全部塌回基率 0.035 附近,最好的也只有 0.070;而 openpilot 自己部署在车上的接管预测器,在同一批测试行上只拿到 0.293,对比同一协议下的 XGBoost 基线 0.771。

这对我们 IMS 团队意味着什么:第一,接管预测这个任务第一次有了防泄漏协议下的诚实数字,任何宣称”预测接管”的方案都应先回答”你的输入里有没有司机自己的操作通道”——BATON 用消融证明,抽掉这组通道,性能塌掉一个数量级;第二,作者把 T3-A 的失败归因于”信息缺失而非建模不足”,并点名视线与生理信号是可能的信息增量——这正是 DMS 数据在 L3 接管准备度场景下的新价值证明点,与站内 L3 认知状态估计与 IIHS 部分自动驾驶保障评级的讨论直接接上;第三,数据集本身的双层开放方式(公开基准层 + 审核原始层)与泄漏审计方法,是可以直接抄走的基础设施设计。

信源声明:本文全部数字出自 arXiv 2604.07263v2 全文 HTML(abs 页 + 正文/附录三轮通读,表格数字逐条对照);数据分层方式、license(CC BY-NC 4.0)与 venue 声明(“Under review at the KDD 2027 Datasets and Benchmarks Track”)出自官方仓库 github.com/OpenLKA/BATON(README 亲读)。README 与论文的样本计数存在出入(README 写 handover 56,564 / takeover 71,079,论文 Table 协议给 h=3s 65,223 / 91,255),本文一律以论文 v2 为准,README 计数不采用。该文是投稿中的预印本基准论文,未经同行评议,结论按”待验证”对待;但其协议设计(泄漏审计、三 seeds、多泛化轴)不依赖最终结论方向。

背景:控制权转移数据集一直缺”双向 + 闭环”这两块

接管/移交研究的旧数据资产,要么受控、要么单向、要么缺通道。BATON 论文 Table 1 对既有资源的定位(据其引述,未逐篇核读原文):

BATON 的补位方式:真实车主的 openpilot 日志,前视+舱内双视频、CAN 全量解码、前向雷达、IMU、DMS 输出、规划器状态、GPS 路线语境,全部挂在 route 级统一时钟上;规模与覆盖面是上表任何一项都没有的。

数据怎么采:comma 硬件上”同钟五模态”的记录栈

数据不是厂商实验车队采的,是真实 openpilot 用户的 comma three/3X 设备自愿上传,openpilot 0.7–0.11.x 版本跨度。所有流天然共享 route 级时钟,这是它区别于”事后对齐”多模态数据集的工程要点。

三点值得注意。第一,raw GPS 坐标被主动丢弃,替换成路线语境特征(道路类型、限速、车道数、匝道/交叉口邻近度)——隐私最小化与特征工程的同一步棋。第二,CAN 帧用 OpenDBC + OpenLKA 跨车型解码管线统一成一套 schema,覆盖 108 个车型,这是”多车型 CAN 语义对齐”的现成参考实现。第三,硬件世代混杂(tizi 281 / tici 148 / mici 132 routes)在时间分布上带来 42% 白天 / 58% 夜间,夜间占比对舱内视觉通道是个天然压力测试。

flowchart LR
    A[comma three/3X<br>openpilot 0.7-0.11.x] --> B[route 级统一时钟]
    B --> C1[前视视频 20fps]
    B --> C2[舱内视频 20fps]
    B --> C3[CAN/控制 100Hz]
    B --> C4[IMU 100Hz]
    B --> C5[雷达 20Hz + DMS输出 20Hz<br>+ 规划器 20Hz]
    B --> C6[GPS 路线语境<br>raw 坐标丢弃]
    C3 --> D[OpenDBC + OpenLKA 跨车型解码<br>108 车型统一 schema]
    D --> E[四态: 横向×纵向 DA 标志]
    E --> F[二值 DA-active<br>+ 时间过滤/合并]
    F --> G[3,593 次转移<br>1,800 移交 + 1,793 接管]
    G --> H[Task 1 动作识别]
    G --> I[Task 2 移交预测]
    G --> J[Task 3 接管检测/预判]

规模账本:全语料 204.9 h(其中移动 165.4 h,49.0% 处于 DA 激活态)、173 司机、108 车型、22 制造商、5 大洲;冻结基准子集 benchmark_v2 为 565 个 route 包、162.1 h、150 司机、99 车型、3,593 次转移。96% 的转移来自”openpilot 横向 + stock ACC”这一种配置(409 routes,128.0 h),stock-only 配置不足 4%——读结果时必须记住这是一个以单一 DA 形态为主的数据集。

标注与协议:四态压二值,外加三条防泄漏阶梯

标注不靠人工逐帧打标:DA 状态直接读 CAN 激活标志(横向或纵向任一激活即 DA-active),时间过滤去掉不稳定短片段、合并同态相邻段。人工验证方式是单专家盲检 500 个 Task-1 窗口:一致性 96.0%,Cohen’s κ = 0.953——注意这是单标注者验证,多标注者研究论文自认”deferred”。

协议设计是这篇论文最值得抄的部分。两个任务方向定义:handover = 人工→辅助(激活),takeover = 辅助→人工(解除),全程 L2 监督责任不变。在此之上是三条防泄漏阶梯:

泄漏审计做了对照:被抽掉的激活标志本身 AUPRC 0.332,保留输入中最强的单特征只有 0.247;逻辑回归重构探针无法从保留输入恢复标签。这套”先证明抽掉的变量确实携带标签信息、再证明抽完后恢复不回来”的审计写法,值得直接搬进任何接管预测交付物。

基线结果:没有免费的多模态午餐

主协议(h=3 s,cross-driver:104/26/20 名司机不相交,3 seeds 42/123/7)下 sample/event AUPRC:

特征消融(Table 18)给出的分工很清楚:T2 上 CAN 统计量 0.236 → 加世界模型特征 0.335(+42%),视频独有特征单独能到 0.286;T3 上 CAN 统计量 0.479 → 加 17 关键点 YOLO 姿态特征(2 fps)0.514;但两头都加(stats+WM+pose)反而回落到 T2 0.303 / T3-D 0.477。没有跨任务通吃的融合配方——BATON-WM 本身就是 T2 用世界模型特征、T3 用姿态特征的”一任务一配方”。只使用 DMS 之外的通道(无 DMS 十种子表)也给出同构结论:纯视频 0.241,融合 0.264,controller XGBoost 0.441(T3),视频通道的增量存在但不是决定性的。

T3-A 崩塌:0.478→0.056 是信息极限,不是建模失败

这是全文最重要的一个实验。同一个 T3 任务,允许观察司机的超控动作(T3-D)时 XGBoost 0.478;抽掉全部 6 个司机超控通道、把正样本窗截止在司机动作开始前至少 1 s(T3-A),性能塌到 0.056,基率 0.035。作者尝试了长窗口(30–60 s)、跨模态注意力、教师蒸馏与特权信息蒸馏(LUPI),最好的也只有 0.070±.004——还在基率附近。事件级 bootstrap 95% CI 完全分离:检测 0.31–0.44,预判 0.019–0.041。

把缓冲带从 0.5 s 拉到 2.0 s,性能单调衰减——司机动作前的窗口里,现有信号集里就是没有可读的接管意图。第二个独立验证集(590 正窗/160 事件)复现了结论:预判 0.075/0.036,同批数据上检测 0.522/0.365。作者的归因句值得原文引用级别地记住:预判与检测的差距”we attribute the gap to missing information rather than to modeling choices”——是信息缺失,不是模型不行。

顺带一个工程细节:92.5% 的接管是司机主动发起的。也就是说 T3-D 的高性能,实质是对”司机已经开始操作”的早期检测,而不是对意图的预判——论文自己承认当前 T3-D 性能”largely reflects early detection of the driver’s override rather than anticipation before it starts”。

方向不对称:移交靠上下文,接管靠输入动态

两个方向的可预测性来源完全不同,这是对 HMI 时序设计最有直接含金量的发现:

• 移交(人→系统):激活是一个按键动作,不由周围司机输入”构成”,所以场景与驾驶员状态语境有用——世界模型特征 +42%,且跨车型泛化时分数反而升(XGBoost 0.236→0.360),同司机时间分割最高到 0.454–0.465(+0.19–0.22),说明 cross-driver 下的损失主要是”身份/平台/控制器语义”差异而非时间漂移。
• 接管(系统→人):解除被司机的操作动作本身构成,树模型抓输入动态最有效——XGBoost 0.479 打败所有神经多模态模型(最好的 RG-HBT-Q 只有 0.398),且 T3-D 对身份的敏感度低得多(+0.05)。

subtype 分层揭示了池化二值标签的掩盖效应:T3-D 事件级 AUPRC 在”横向单独解除”上是 0.72,”横向+纵向同时解除”只有 0.05;T2 召回率横向 0.90 vs 纵向 0.66。只报一个二值 AUPRC,等于把最难的部分藏起来。

VLM 零样本与量产系统:两个都很凉

零样本 VLM(7 个模型,泄漏充气的 full 输入口径下)最好的 Gemini-2.5-Flash:T1 0.362 / T2 0.184 / T3-D 0.202,全部远低于训练基线;只给舱内画面则接近随机(GPT-4o T1 0.303 属于 full 输入含结构化通道)。Task 1 的通道对比也顺手给了个舱内视觉的坏消息:无规则标签的 7 类动作识别,前视视频 0.592 Macro-F1,舱内 DMS 通道只有 0.219,IMU 0.352——舱内视频对”车在干什么”的判别力远弱于前视,它的价值在 T3 姿态特征里,不在 T1/T2。

量产对照更扎眼:openpilot 部署在车上的 disengagement 预测器(modelV2)在 5 条覆盖的测试路线上 T3-D 0.293/0.101,同一批行上 XGBoost 统计量基线 0.771/0.732。论文的原话:”A production system’s own takeover predictor therefore leaves most of the task unsolved.” T3-A 在该子集上只有 9 个正样本/3 个事件,所有方法与随机无异。

部署视角的最后一把尺子:在 1 次误报/小时的操作点上,最好的 T3-D 召回 28%(中位提前量 3.0 s,即 horizon 上限),T2 召回 7%,T3-A ≤2%。这就是当前公开基准上接管预测的真实水位。

与站内已有文章的关系

• TriDrive 联合预测精读(10-09)正是在 BATON 数据上做的联合预测模型,该文只把 BATON 当实验语境引用,未拆解其协议与结果;本文补上数据集本身的深读,并覆盖 v1→v2 的语料增长(附录 E.6:三个月内 129→204.9 小时)。
• IIHS 部分自动驾驶保障评级协议拆解(10-20)把 14 套 L2 系统的 DMS 打了 8 个 poor,但评级只能测”反应”,BATON 提供的是自然驾驶中接管行为的真实分布与可预测性上限。
• 集合式认知状态估计给 L3 的第二条路线(10-28)讨论”不靠大数据算接管准备度”;BATON 的 T3-A 结果反过来说明:光有车端结构化信号确实算不出来,至少需要新的信息源——两个立场在”DMS 信息进接管仲裁”这一点上汇合。

对 IMS 团队的启示:六条可执行项

1. 用 BATON 的通道清单审计自家数据闭环。 接管预测所需最低通道组 = CAN 控制 100 Hz + 舱内视频 + 前视视频 + 前向雷达 + 路线语境,统一时钟。仓库(见参考 3)提供公开基准层(~几 GB 样本集,43 routes 全模态)可零成本下载对齐 schema;原始数据层需审核申请,且 CC BY-NC 4.0 禁商用。
2. 给”接管预测”指标强制加 T3-A 版协议。 任何模型报告 AUPRC 前,先跑一遍抽掉司机超控通道的版本。如果团队模型在 leak-safe 下成绩好、T3-A 下塌基率,说明它做的是检测不是预判——对外表述必须改。
3. 不要用 VLM 兜底接管预测。 零样本全部近基率;舱内画面单独给 VLM 更是接近随机。
4. 把 T3-A 当作 DMS 数据价值的证明场景。 作者点名的下一个信息源是视线与生理信号——这正是 DMS 的主场。若自采数据里加 gaze 通道重跑 T3-A,是目前文献空白,也是”DMS 数据进接管仲裁”最直接的立项理由(与站内 L3 系列的 action-tier 接口设计互补)。
5. 报告 1 误报/小时操作点下的 recall,而不是单值 AUPRC。 0.478 的 sample AUPRC 在部署操作点上只有 28% 召回——HMI 与仲裁层做时延预算时要用后者。
6. 二值标签之外必须分层报告 subtype。 0.72 vs 0.05 的差距说明池化指标会系统性高估全量接管场景的能力。

局限与路线判断

论文自认的局限:只有前视、无 BEV 周车语境;驾驶时长分布极不均(150 司机中前 5 人占 31% 小时,80 人不足 30 分钟,中位 0.41 h);Task-1 标签规则派生且单标注者验证;基线融合简单,BATON-WM 是任务特化而非统一架构;无地域/天气/人口属性,公平性不可评估;无 gaze/生理通道——作者把更丰富的驾驶员状态感知列为解决 T3-A 的可能路径,并估算需要约 500–550 小时语料才能凑够约 300 个 anticipation 事件。

我的判断(与事实陈述分开):接管预判(T3-A)在 2026 年是”缺信息”问题而非”缺模型”问题,这反而对 DMS 是利好——车端已有 DMS 摄像头与 gaze 管线的团队,补一个”接管意图预判”的输入通道审计与 T3-A 版回归,就能把现有硬件变成新的功能差异点;相反,继续在结构化信号上堆模型,期望收益已被这套基准钉死在 0.056–0.070。数据侧,单一 DA 形态(96% openpilot 横向+stock ACC)意味着结果向”消费者 L2”外推时要小心,车队与 NOA 形态的接管分布可能不同;公开基准层几 GB 即可复现全部主表,建议作为团队接管相关模型的标准回归集,并在 Q1 2027 关注其 KDD 2027 D&B track 的评审结果与语料更新。

参考

1. Wang, Y., Xu, Y., Yang, C., Li, L., Sun, J., Zhou, H. BATON: A large-scale multimodal benchmark for bidirectional human–DAS control transition in naturalistic driving. arXiv:2604.07263 (v1 2026-04-08, v2 2026-07-27). https://arxiv.org/abs/2604.07263
2. 同上 v2 全文(HTML). https://arxiv.org/html/2604.07263v2
3. OpenLKA/BATON 官方仓库(基准层下载、协议文档、基线代码;”Under review at the KDD 2027 Datasets and Benchmarks Track”;CC BY-NC 4.0). https://github.com/OpenLKA/BATON
4. 站内:TriDrive 联合预测精读(2026-10-09),基于 BATON 数据的驾驶员-车辆-道路联合建模. /blog-posts/2026-10-09-016-tridrive-joint-driver-vehicle-road-forecasting-arxiv2026.md
5. 站内:IIHS 部分自动驾驶保障评级协议 V1 全文拆解(2026-10-20). /blog-posts/2026-10-20-003-iihs-partial-automation-safeguards-protocol-deep-dive-2026.md
6. 站内:集合式认知状态估计给 L3 的第二条路线(2026-10-28). /blog-posts/2026-10-28-set-valued-cognitive-state-estimation-l3-trust-2608-02308.md