TriDrive 深读:把驾驶员、车辆、道路放进同一个转移模型——openpilot 生态里跑出来的 5 Hz 告警探针、177 ms p95 部署账本与 14 人实车对比

站内已经写过同一作者群的三部曲前两部:BATON 基准(2604.07263,204.9 小时自然驾驶数据证明接管预测的瓶颈是信息不是模型,11-01 文)和 DriveMotion 基准(2609.08117,393 小时驾驶员运动序列预测,09-14 文)。2026-09-26 挂出的 TriDrive(arXiv 2609.33000,v1,32 页、25 张表,标注 Under review)是第三部:它不再造基准,而是把驾驶员运动学、车辆动力学(CAN 总线)、道路语义三个模态放进同一个”自动化状态条件化转移模型”,并在 comma 四代设备 + 外接 8 GB eGPU 上真实跑了一套 5 Hz 告警探针——p95 端到端时延 177 ms,就绪率 97.9%,对人类标注的手动驾驶告警 AUROC 0.725,对比 openpilot 学习式基线的 0.563;14 名真车主在自己车上的成对盲测里,认为它比 openpilot 自带驾驶员监控”更合适 +1.79、更及时 +2.67”(7 分制),但也”更烦 +1.17”。

这对 IMS 团队的意义在于两点。第一,这是站内第一次覆盖 openpilot/comma 生态(此前 0 篇),而它恰好是这个全球最大的开源辅助驾驶用户群里第一个公开的第三方驾驶员监控系统完整方法论文——从标注精度、探针 AUROC、校准误差到实车主观评分,全套账本都摊开了,可对照的粒度远超厂商通稿。第二,它用消融数据回答了一个我们之前只在 NTSB Katy 文(11-02 文)里从反面论证过的问题:告警到底该用”预测”还是”当前态”?TriDrive 的答案是后者——把 5 秒预测特征喂给告警探针,离线 AUROC 反而变化 −0.004±0.013,等于没有增益;真正带来增益的是”驾驶员+道路对车辆状态的 directed residual 修正”(BATON 子集上转向接管 PR-AUC +0.084、TTC 骤降 +0.286)。

本文为 A 型(论文深读型)。信源亲读:arXiv 2609.33000 摘要页 + 全文 HTML 两轮(0–100k 字符方法章 + 100k 之后附录 C–H 章,两轮头部数字交叉一致)+ Hugging Face 仓库检索(AsianPlayer/TriDrive 与 HenryYHW/TriDrive 两个同名仓库均含代码/权重,CC-BY 系许可,未能核验哪个为作者官方仓库,文中按”已放出、归属存疑”处理)+ comma.ai 官方文档(openpilot DM 一句话描述级)。限制必须声明:论文 v1 无 venue(标注 Under review);BATON/DriveMotion 两部前作的站内解读均基于各自原文,本文只亲读了 TriDrive 全文;附录数字较多,已按”两轮一致才入文”的规则筛选,单轮出现的细节均标注”附录级”。

背景:三部曲的第三块拼图,和”预测式监控”的真实位置

先把作者群的路线摆开,才能看清 TriDrive 想干什么:

前两部都是”信息不数据集不模型”的诊断,BATON 文的结论尤其冷:量产系统的接管预测上限被信息卡死。TriDrive 的应对不是加模态了事,而是一个具体的架构判断——驾驶员动作和道路需求最终都以车辆运动的形式显现,所以车辆状态应当是连接的枢纽,而不是把三个模态并联融合。

另一个背景是基线本身:openpilot 官方的驾驶员监控(openpilot 文档原话:engage 状态下”alerts distracted and asleep drivers”)是一个相机 DM,而 TriDrive 对标的”openpilot 学习式基线”是学习 openpilot 记录下来的告警日志的预测模型,不是把实际部署的告警策略在同帧上重放——论文自己标注这是”floor comparison(下限对比),not a matched-budget result”。这个区分在解读所有对比数字时都要随身携带。

核心机制:三编码器 + 指向车辆的残差连接 + 自动化条件化转移

flowchart LR
    subgraph 输入["三条模态支路(各 4 s 历史 @ 10 Hz)"]
        U["驾驶员支路<br/>YOLO11x-pose + RTMW-x-l<br/>11 运动学通道 → 18 维/步<br/>GRU 40×18 → h_U"]
        V["车辆支路<br/>方向盘角/油门/制动/速度/加速度<br/>TCN 40×6 → z_V"]
        E["道路支路<br/>V-JEPA 2 ViT-g(冻结)<br/>16 帧/2 s → PCA 1408→256<br/>causal Transformer → z_E<br/>side MLP:216 视觉+40 道路边距"]
    end
    U -- "r_U→V(247,680 参数)" --> HUB
    E -- "r_E→V(329,088 参数)" --> HUB
    V --> HUB["车辆枢纽<br/>z̃_V = z_V + r_E→V + σ(g_mt)⊙r_U→V"]
    HUB --> TM["自动化条件化转移模型<br/>m_t ∈ &#123;manual, engaged, unknown&#125;<br/>25 步 @0.2 s(5 s 视界)<br/>12 条二元链 + 3 分量混合密度"]
    TM --> P["当前态告警探针 5 Hz<br/>AUROC 0.725(manual)"]
    TM --> D["蒸馏:ViT-S/16 学生<br/>16 帧 @224×224<br/>41.6–41.9 ms 中位时延"]
    P --> BUS["comma four + RX 9060 eGPU"]
    D --> BUS

驾驶员支路的两个关键设计。 第一是锚定(anchoring):预测的不是绝对坐标,而是围绕最后观测姿态的位移量,绝对坐标版差 3.87 像素;锚定把公开发布的 ST-GCN 在 AIDE 上从 110.98 拉到 49.22 All-MPJPE——这一个消融就解释了大部分”我们比基线好”的来源,读这篇论文时不能把功劳全记给联合建模。第二是输入形态:每步 18 维 = 11 个运动学通道(头/腕位置、转头偏移、手到静止位距离)+ 1 个有效位 + 5 个 CAN 信号 + 时间偏移,GRU 把 4 秒×10 Hz 压成 h_U。AIDE 侧的姿态预测器是一个 5.77M 参数的 part-token Transformer,先在 BATON 的 340 万姿态帧(3,410,103 帧,68.7% 有效,624,024 个训练窗口)上预训练。

指向车辆的残差连接。 连接公式 z̃_V = z_V + r_E→V([z_E; z_side]) + σ(g_mt)⊙r_U→V(h̃_U),其中 g_mt 是按自动化状态学的门(这正是”automation-conditioned”的字面落点),两层 MLP 的末层零初始化,联合训练从预训练预测起步。参数上,E→V 329,088 + U→V 247,680 共 576,768,而全互联要 821,760——省的不只是参数,更是”道路→驾驶员”这类语义上说不通的连接。

转移模型本身。 25 步 × 0.2 s = 5 秒视界;12 条主二元链(2 驾驶员 + 4 车辆 + 6 道路需求)用”历史条件化、随时间变化的一阶转移”:每步预测开启/关闭概率 h⁺/h⁻,状态递推 π_{c,k} = π_{c,k−1}(1−h⁻) + (1−π_{c,k−1})h⁺,首次开启概率是生存函数补 1−Π(1−h⁺);方向盘角、速度、加速度用三分量混合密度(Bishop 1994)输出。这套设计让”5 秒内转向接管概率”这类下游量可以直接从链上读出,而不用真的 rollout 轨迹。

蒸馏是部署的前提。 教师太快:V-JEPA 2 ViT-g 单 clip 3.29 s,OpenBADAS 风险管线 3.3–3.5 s,共享 GPU 上根本排不开。蒸馏损失 = 三组固定投影 {I, P, Q} 上的标准化 MSE + 余弦距离 + 风险 logits 的 BCE 与 L2;学生 ViT-S/16(16 帧 @224×224)uint8 输入时延 41.6–41.9 ms。回放保真度是论文给出的验收口径:四条路线复现教师的全部告警事件(2/2、6/6、6/6、2/2),99 分位分数差 0.007–0.036。对 IMS 团队这比”知识蒸馏一般有效”有用得多——它给了”蒸馏学生能不能替教师上岗”的一个可抄的验收模板:重放告警事件集逐一对齐 + 分位数误差上限。

实验与证据:三组账本逐条过

账本一:AIDE 姿态预测(全集 609 clips,All-MPJPE,越低越好)。

读这张表要带着论文自己的诚实声明:高运动(top-10%)子集”substantial sampling uncertainty”,”This does not convert a worse point estimate into a win”;且 AIDE 官方切分不是 subject-disjoint。也就是说”48.05 vs 71.47”这个 SOTA 标题数字里,锚定设计和数据预训练的功劳大于三模态联合本身。

账本二:告警探针(核心输出)。

四组消融值得记住:(1)预测特征无用——当前态探针 0.716,加未来特征 0.668–0.695,Δ = −0.004±0.013;(2)潜在状态探针更差——直接探 ECAN/Driver-WM 编码器 trunk 只有 0.589/0.614 vs 同 512 锚点上的 0.712,监控特征要”显式解码”而不是”从隐空间捞”;(3)oracle 上限很近——真占用/恢复 0.722、加真 onset 0.731,区间全含零,说明当前特征工程离可达上限不远;(4)校准碾压——ECE 0.028 / Brier 0.103 vs 基线 0.408 / 0.273,Platt 校准后 Brier 优势仍有 −0.016。第(4)条对告警阈值工程是实打实的:基线的分数几乎不可用,TriDrive 的分数可以直接排布阈值。

账本三:14 名真车主的成对实车盲测。 在参与者自己的车上(condition 交替、系统身份隐去),2026-09-22/23 两天共 8.4 小时、39 条路线。五项 Likert 1–7 配对差:合适性 +1.79(中位 1.25,Wilcoxon p=.008)、及时性 +2.67(中位 2.00,p=.008)、恼人度 +1.17(中位 0.50,p=.031)。总体偏好 7 : 4 : 3(TriDrive : openpilot : 无差别),份额差 +0.21 [−0.21, 0.64]——论文原话是”a numerical tilt rather than a resolved population preference”。恼人度两面:12 个完整配对里 TriDrive 更烦的 6 个、持平 6 个;受试者评论提到”告警频繁”和音量大;openpilot 自己的恼人度评分在 12 个可比评分中的 9 个是 1(几乎不烦)。这就是”更准的告警”换来的账:及时性 +2.67 的代价是恼人度 +1.17。

部署账本:comma four + 8 GB eGPU 的分工

flowchart LR
    C4["comma four(8 核)"] --> OP["openpilot 驾驶模型 + 自带 DM"]
    C4 --> PROBE["告警探针 5 Hz<br/>135 ms 中位 / 177 ms p95"]
    GPU["AMD RX 9060 8 GB eGPU(tinygrad,fp16)"] --> PERC["感知:姿态 9.38 Hz<br/>道路学生 1.89 Hz"]
    GPU --> FORE["联合预测骨干 2.35 Hz"]
    PROBE --> FB["陈旧输入回落 openpilot DM<br/>就绪率 97.9%(目标 95%)"]
    PERC --> FB
    FORE --> FB

三次带仪器的实测驾驶(1,347 / 1,450 / 2,453 s)给出全部运行数字:探针 5 Hz、135/177 ms 中位/p95(目标 300 ms);骨干 2.35 Hz(目标 2.5);就绪率 97.9%。分工原则很清楚:comma four 只跑原有 openpilot 栈 + 轻探针,所有重计算上外接 eGPU,按每模型优先级协作调度;论文强调”No vehicle-control policy is learned or replaced by TriDrive”——它是监控旁路,不碰控制。学生风险分数带十秒有效期,教师风险模型最终配置里被禁用。

与已有方案的关系:它到底解决了站内哪几条线的悬案

与站内 11-03 风险感知选择性推断文(2606.26922)的同构性尤其值得点破:那篇的核心是”监控器要有 learned gating 来弃权”,TriDrive 的核心是”监控分数必须校准 + 输入陈旧就回落”。两个不同团队、不同生态,收敛到同一个判断:部署态驾驶员监控的瓶颈不是判别力(0.716 vs oracle 0.731 差距不大),而是分数可信度与失效安全。

对 IMS 团队的启示

1. 告警用当前态,预测留给仲裁。 TriDrive 用 −0.004±0.013 的消融证伪了”把预测特征喂给告警头”这条路,但它并没有把 5 秒链概率扔掉——那些量喂给的是更上层的辅助决策。对应到 IMS 架构:告警闭环用经过校准的当前态分数,预测输出作为仲裁栈/降级决策的第二输入,别混用。
2. 蒸馏验收模板可直接抄。 重放教师告警事件集逐一复现(2/2、6/6、6/6、2/2)+ 99 分位分数差上限 0.036 + 事件级回放对齐,比通用的特征 MSE 余弦更能回答”学生能不能上岗”。舱内 rPPG/DMS 大模型蒸馏到车规 SoC 时,建议按这个口径写验收。
3. 标注精度账本先于模型账本。 论文报告人工复核标签精度:手动离手 0.85、回手 0.82、转头 0.97、engage 转头 1.00——转头类标签几乎不出错而手部标签错误率 15–18%。任何自采 DMS 数据集的验收都应按事件类型分别报标注精度,而不是一个总 Kappa。
4. 恼人度是告警设计的等权约束。 +2.67 及时性换 +1.17 恼人度,且偏好只到”数值倾斜”级别;论文的 future work 原话指向”valid pose inputs + sustained score excursions before warning + varying acoustic intensity”——持续确认再告警 + 分级声强,这两条几乎可以直接写进告警状态机需求。
5. openpilot 生态是现成的数据与部署试验场。 comma four + 300 美元级 eGPU 就能跑联合预测,这是站内覆盖 0 篇的生态;BATON(204.9 h)与 DriveMotion(393 h)基准加上 TriDrive 权重(HF 已有含 checkpoints 的仓库,虽归属待核),构成从数据到权重的完整开源链路,适合做低成本影子复现。

路线判断

我认为这篇论文最可能被记住的不是”三模态联合 SOTA”,而是三件更朴素的事:(1)锚定 + 数据预训练解释了姿态侧大部分增益,联合建模的独立贡献要靠 directed residual 的 PR-AUC 增益(+0.084/+0.286)来说话;(2)预测特征对告警无增益的消融,给”预测式监控”这条叙事线划了一个具体边界——预测的价值在 5 秒链概率这类可解释中间量,不在告警头;(3)校准 + 回落的部署纪律比模型容量更接近量产 DMS 的真实瓶颈。 需要警惕的:全部结果来自单一硬件组合与单作者群生态,实车研究只有 14 人/8.4 小时/39 路线,人工评审环节作者自认”planned two independent blinded raters … were replaced before analysis by a five-member discussion committee”——评审一致性无法估计;论文的统计口径也自认是”consistency rule, not familywise error control”。在第三方独立复现出现之前,把 0.725/0.563 这组对比当作方向证据而非数值承诺。

参考

1. TriDrive: Joint Driver, Vehicle, and Road Modeling for Forecasting and Driver Monitoring(arXiv 2609.33000,v1,2026-09-26,Under review)— https://arxiv.org/abs/2609.33000 (全文 HTML:https://arxiv.org/html/2609.33000v1)
2. TriDrive Hugging Face 仓库检索结果(AsianPlayer/TriDrive,CC-BY-4.0,含 checkpoints 与 Driver-WM 复现;HenryYHW/TriDrive,CC-BY-SA-4.0;归属未核验)— https://huggingface.co/search/full-text?q=TriDrive&type=model
3. BATON:自然驾驶双向控制权转移基准(arXiv 2604.07263;站内解读:2026-11-01 文)— https://arxiv.org/abs/2604.07263
4. DriveMotion:大规模多源驾驶员运动序列基准(arXiv 2609.08117;站内解读:2026-09-14 文)— https://arxiv.org/abs/2609.08117
5. openpilot 官方文档(DM 一句话描述:”while openpilot is engaged, a camera-based Driver Monitoring (DM) feature alerts distracted and asleep drivers”)— https://docs.comma.ai/
6. Risk-Aware Selective Multimodal Driver Monitoring(arXiv 2606.26922;站内解读:2026-11-03 文)— https://arxiv.org/abs/2606.26922