arXiv 2610.33915 精读:当车辆会主动提问,注视就不再是同一个信号——Agentic 驾驶如何改写驾驶员状态推断、信任与干预的三个前提

先给一句可以被引用的论断:弗吉尼亚大学 Lu Feng 在 2026 年 10 月 24 日提交的立场论文《Human-Aware Agentic Driving》给出的核心警告是——当座舱代理会主动提问、解释和协商,它就成了”塑造自己所观测行为的一方”:同一次注视可能是自发的、被提示的、或是被一个问题引发的搜索,一个注视预测器可以保持精度不变,却对”驾驶员是否真的理解了场景”越来越没有信息量(Feng, 2026)。

这对 IMS 团队为什么是现在就要读的:座舱 LLM 代理已经从 CES 演示走向量产定点(站内关联:CES 2026 智能座舱新趋势:从 DMS 到 VLM 驱动的座舱 AI 代理),L3 条件自动驾驶的接管准备度评估也正在被写进评级与法规。而这两条线正在合流——当车辆开始主动发起对话,DMS 的观测对象被交互本身改变了。这篇论文把”哪些既有结论还成立、哪些会变、哪些悬而未决”整理成一张三主题矩阵,几乎可以直接当作”座舱代理时代 DMS 需求重审清单”来用。

本文为 A 型(论文深读)。信源说明:主文 arXiv 2610.33915 全文 HTML 分四段精读,关键引语逐句核对;佐证信源 arXiv 2607.10945(接管准备度多模态实验)与 arXiv 2510.25421(Cockram 等,CHI 2026,对话缓解被动疲劳)已读摘要级;Zhang 等 2019 荟萃分析、Stampf 等 2024 乘客协商实验等仅经主文转引并已注明。主文是立场论文(无新实验数据),本文不对它做任何数字转述,只梳理其论证结构;文中引用的实验发现均标注到该实验论文本身。

背景:从”监听式 DMS”到”提问式座舱”

论文对 agentic driving 的定义是”目标导向推理与驾驶相关行动、反馈的耦合”(goal-directed reasoning coupled with driving-related action and feedback)——车辆可以澄清一个请求、解释一次变道、在接管前准备驾驶员,然后根据驾驶员的回应调整下一步动作。这个定义刻意比”车载 LLM”窄:关键不在语言,而在代理会主动发起交互、并且交互是适应性的。

作者的定位很清楚:Agent-Driver(COLM 2024)、MILD(2026)等语言代理工作解决的是”怎么造”,HFES 的人类-车辆组队框架(Wang & Pitts, 2026)和 Sensors 上的语言驱动监控综述(Chandrayan & Alvarez, 2026)分别给出协作框架与技术全景——但这篇论文问的是另一个问题:**当车开始”说话”,过去二十年积累的注意力建模、接管预测、信任校准、自适应警告研究结论,还有多少直接可用?**它的贡献是一份结构化的”迁移性审查”,而不是新方法。

论文开篇的场景值得原样复述:车辆接近一段不熟悉的施工路段,提示驾驶员暂停电影;驾驶员抬头看了一眼,回答”我准备好了”。这个看似成功的交互留下三个未决推断——那一眼是理解了,还是仅仅服从;那句回答是信心、配合,还是真实的接管能力。观测行为和引发观测的交互已经不可分割,这正是全文的枢纽命题:车辆是”主动塑造它所观测的人类行为的一方”(an active participant in shaping the human behavior it observes)。

核心机制:一张三主题矩阵和三种角色

人的三种角色,三种证据

论文先把”人”拆成三个角色,每个角色需要的证据类型不同——这是后面对比”偏好/同意/能力”三组概念的骨架:

人类角色 提供什么 需要的证据 关键区分
目标与偏好提供者 目的地、舒适偏好、计划变更 偏好(想要什么) 记住的偏好 ≠ 当前能力
交互伙伴 信息、质疑解释、协商帮助 同意(对请求的回应) 同意 ≠ 有能力执行
可接管驾驶员 接管控制 准备度(能否完成驾驶任务) 能力必须行为化证实

(来源:Feng, 2026,Sec. II-B;前两个角色可以由”不负责接管的乘客”完成——比如无人出租车服务。)

三主题 × 三列:全文的中央矩阵

论文第二到五章对三个主题各用同一结构审查:什么不变(What stays)、什么改变(What changes)、什么悬而未决(What remains open)。整张表就是论文的摘要:

主题 什么不变 什么改变 什么悬而未决
驾驶员状态 注意力、理解、控制准备度仍是不同分量;多模态预测是基础 提示与对话改变被观测行为;预测依赖交互历史与候选干预 区分”引出的行为”与”诱发的行为”;新交互策略下的泛化;假准备度预测
信任 合理依赖(appropriate reliance)是目标;信任动态且只部分可观测 多个信任对象(建议/对话/驾驶);一个能力的成败影响对另一能力的依赖 何时需要按能力分域的信念;跨能力效应的测量;重复使用中的修复
干预 内容、时机、模态、可用时间决定准备效果 代理选择对话序列,消耗注意力与时间,同时车辆仍在行动 何时问、何时帮、何时沉默;证据迁移;歧义回应与可行车辆动作的协调

(来源:Feng, 2026,Table I 结构,本文转译。)

把人-代理-车回路画出来,交互的”观测污染”问题一目了然——代理的动作同时出现在”感知输入”和”被感知对象”两侧:

(图:依据 Feng, 2026 Fig. 1 人-代理-车回路重绘,虚线为本文强调的”观测污染”通道。)

驾驶员状态:提示改变了证据本身

不变的部分:接管准备度仍是多分量结构——看路、理解场景、有介入意图、能控制车辆,且这些分量发展速率不同(接管的”首次控制输入”是不完整的准备度度量;felt readiness/主观准备感不替代行为证据)。这与站内已拆解的接管准备度多摄像头融合路线(Driver-Net)并无冲突,反而是其前提(站内关联:Driver-Net:多摄像头融合评估自动驾驶接管准备度)。

改变的部分是全文最锋利的一段。论文原文(逐句核对):”At roadworks, a fixation on the blocked lane may be spontaneous, prompted, or part of a search initiated by a question”——注视位置相同,推断却取决于”驾驶员被问了什么、怎么回应的”。由此推出那句对 DMS 工程师最要紧的话:**”A fixation predictor may remain accurate while its output becomes less informative about comprehension”——预测器可以依旧”准”,但它的输出对理解的支撑力在下降。**因此准备度估计必须把候选干预和交互历史(之前的回答、拒绝过的帮助、任务投入)纳入条件,而不是把注视当独立观测。

未决的部分:交互诱发的投入是否真的预测理解与控制?这里论文引用了 Cockram 等的 CHI 2026 实验(站外直接核证:40 名被试、真实试车场、LLM 对话代理主动 check-in,用车内视频+主观困倦评分+访谈评估)——对话”可以改变主观困倦与可观测投入”(Feng, 2026 原文措辞),”但这些改变是否改善接管表现在该报告的分析中仍未解决”。也就是说,现有的最好证据只到主观层;对”对话提升接管安全”这类即将出现在供应商宣传里的承诺,证据链在关键一环断了。

信任:共享界面让能力边界消失

不变:信任之所以重要,是因为它支撑”合理依赖”;报告的信任、委托意图、实际使用、对局限的理解是四个不同构念。改变:当建议、对话、驾驶共用一个有记忆的对话界面,能力边界在用户心智模型里被抹平——“通过建议赢得的信心可能影响对驾驶的依赖”(原文),作者把这种跨能力迁移明确标注为”一个待研究的机制,而非已确立的后果”。未决:一个能力的体验会让用户对另一个能力形成准确还是错位的期望?

论文引了 Stampf 等的 AutomotiveUI 2024 乘客-AV 协商实验做注脚(经主文转引):对系统的好评可以与”试图绕过超速拒绝”的行为并存——满意度和顺从不等于合理依赖。这直接命中量产威胁模型:座舱代理越”讨喜”,越可能制造错位信任;修复(repair)要按后续的按能力分域选择来评判,而不是按即时反应。

干预:一条消息变成一串决策

不变:干预有用与否,看它能否帮人在可用时间内理解并完成所需动作;主观评分提升不等于客观态势感知提升。改变:在代理架构里,一条警告变成”问-判-改”的决策序列——语言还创造承诺(“我会让行”和”请看前方”蕴含不同的动作与责任),改写措辞就能改变隐含的确定性与许可。核心设计问题(原文要义):行动之前收集多少证据,以及在收集证据的同时哪些车辆动作仍然可行——对话消耗的正是完成接管所必需的注意力和时间余量。

与已有方案的关系:传统 DMS 假设 vs 交互式座舱

把论文的论证对到 IMS 开发的日常假设上,差异一目了然:

开发假设(传统) Agentic 交互下的变化 论文依据
注视/头部/行为是”被动观测”信号 信号被提示与对话条件化,须带”观测条件”元数据 Sec. III-B 注视三义性
接管预测模型跨场景泛化 还要对”新交互策略”泛化——holdout 要含策略维度 Sec. III-C/VI-A
误报率是主要风险指标 “假准备度预测”(自信但错误的就绪判断)要单列评估 Sec. III-C/VI-B
信任是 HMI 满意度问题 跨能力信任迁移直接改变接管依赖,需按能力分域测量 Sec. IV-B
警告=一次性消息 警告=消耗注意力/时间预算的交互序列,需与驾驶策略联合决策 Sec. V-B/VI-B
个性化=更好的基线 记忆会过期、OTA 改变能力,个性化成为持续推断+可追溯问题 Sec. VI-C

值得用一组独立证据交叉验证”情境改变接管行为”这个方向:Azimi 等的模拟器实验(arXiv 2607.10945,被试内设计,行人动态事件 × 静态碰撞事件 × 三档次任务,多模态测量含 EDA/HRV/fNIRS)发现危险情境是接管行为的首要驱动因素(行人事件引发更长且更多变的操作,碰撞事件引发更快更稳定的响应),次任务对客观车辆控制的影响反而较小(摘要级核证)。这与 Feng 的”准备度估计必须条件化于情境与交互历史”互补:一个说外部情境,一个说交互情境,共同指向同一结论——脱离条件化上下文的裸 DMS 特征,信息量在衰减。

三大研究优先级:可以直接抄进立项文档

论文第六章给出三个优先级,每个都附了方法学要求,密度很高:

优先级 要什么 方法学硬要求
A. 支撑干预决策的数据 干预的因果效应证据,而非行为-性能相关 共享实验资源记录:道路/舱内上下文、代理动作、回应时序、后续人车结果;必须记录代理选择沉默的情形;避免”提示总在简单场景发给配合的驾驶员”这类混杂;对比实验须同时 holdout 被试与交互策略
B. 交互与驾驶联合策略 交互选择与车辆规划共用同一时间/响应/可行动作模型 评估一段对话时同时评估对话展开期间所需的车辆行为;一个问题值得问,当且仅当它对驾驶决策的期望贡献超过其消耗的注意力与时间;安全约束(POMDP shielding/共形预测)须在对话期间成立,而非答完才成立
C. 经得起重复与变更的适配 个性化记忆在习惯变化、偏好修正、OTA 能力变更后仍可用 纵向评估纳入能力变更与故障后恢复;对比持久记忆 vs 近期历史 vs 无记忆基线;人模型更新、记忆修订、软件版本全部可追溯

(来源:Feng, 2026,Sec. VI-A/B/C,本文转译。)

第三条对本站读者应该有即视感:它与站内拆解过的中国 OTA 先备案 + GB/T 48140 缺陷管理闭环(站内关联:中国软件变更监管三件套)在”变更可追溯、劣化可归因”上完全同构——只不过一个从法规侧来,一个从人因侧来,殊途同归。

对 IMS 团队的启示:六条可执行项

  1. **给 DMS 特征加”交互历史”通道。**哪怕座舱代理还只做导航播报,也应从现在起在数据管道里记录:提示类型、发出时刻、驾驶员回应方式与时延。这是未来准备度模型的候选特征,更是历史数据回放的”观测条件”元数据——不记,旧数据将来没法复用。
  2. **验收指标把”假准备度预测”单列。**团队汇报准备度模型时,把”自信判定就绪但驾驶员实际无法完成”的比率单独报告,与平均精度、误报率并列——这是论文反复强调、且能直接预见法规与诉讼都会盯上的指标。
  3. **评估划分同时 holdout 交互策略。**只要系统有任何主动交互能力,跨被试泛化(CV)之外必须补跨策略泛化——否则模型只是在记住”哪种问法引发哪种反应”。
  4. **座舱代理与 DMS 共享一套”观测条件”数据模型。**代理每一次主动交互都改变 DMS 观测的解释语境;两个系统的日志若不能按时间轴对齐,DMS 数据在交互上线后会出现”无法解释的分布漂移”。
  5. **信任校准按能力分域设计。**导航建议的信任度量不能复用到驾驶委托;每个能力域单独收集依赖证据,并在 UI 上避免用同一个对话人格包装所有能力——界面”拟人统一度”越高,跨能力错位迁移的温床越大。
  6. **对话缓解疲劳功能:只承诺主观层证据。**CHI 2026 的 40 人试车场研究证据只到主观困倦与可观测投入;如果产品文案要暗示”对话让你更能接管”,现阶段没有支撑——这与本站一贯的”健康指标承诺边界”原则(参考 rPPG 有效性边界一文)是同一条纪律。

路线判断(以下为本文推测,标注为推测)

**判断一:”观测条件元数据”将在 2-3 年内成为 DMS 数据集与日志的事实标配。**依据:agentic 座舱的量产定点已在发生,而一旦交互上线,不带条件的观测数据在训练与事故还原两侧同时失效;先行者会把字段标准做进企业规范,再被采购要求传导给供应商(推测)。

**判断二:量产系统会先走”限制性交互策略”,而不是论文设想的联合优化。**联合策略(优先级 B)需要交互与驾驶共用决策模型,这在当前 EEA 架构下意味着跨域重构;更可能的是先以规则硬约束(如 L3 激活期禁止开放式对话、接管前 N 秒静默)落地,把”何时问”退化成”何时不许问”(推测)。

**判断三:这篇论文会成为一个引用枢纽,但它的三条优先级里,最先被产业消化的会是数据侧(优先级 A)。**因为 A 不改架构、只改记录与评估协议,而 B/C 动架构与产品形态(推测)。

开放问题:论文没有回答(也自认未解决)的一件事是沉默的代价——代理选择不问,错失的准备机会如何在数据里显形?优先级 A 要求”记录沉默”给了方向,但”沉默的基准策略”本身如何设定,仍是产品团队的判断题。留给读者的问题:你的 DMS 数据管道,今天能不能回答”这条注视发生在被提示之后吗”?

参考

  1. Feng, L. (2026). Human-Aware Agentic Driving: Rethinking Driver State, Trust, and Intervention. arXiv:2610.33915. https://arxiv.org/abs/2610.33915
  2. Azimi, S. et al. (2026). When Context Dominates: Multimodal Signatures of Takeover Readiness Under Varying Hazard and Cognitive Load Conditions. arXiv:2607.10945. https://arxiv.org/abs/2607.10945
  3. Cockram, L. et al. (2026). Small Talk, Big Impact? LLM-based Conversational Agents to Mitigate Passive Fatigue in Conditional Automated Driving. CHI 2026 / arXiv:2510.25421. https://arxiv.org/abs/2510.25421
  4. Zhang, B., de Winter, J., Varotto, S., Happee, R., & Martens, M. (2019). Determinants of take-over time from automated driving: A meta-analysis of 129 studies. Transportation Research Part F, 64, 285-307.(经文献 [1] 转引,DOI 10.1016/j.trf.2019.04.020)
  5. Stampf, S., Colley, M., Girst, J., & Rukzio, E. (2024). Passenger-Automated Vehicle Negotiation Utilizing Large Language Models for Natural Interaction. AutomotiveUI 2024.(经文献 [1] 转引,DOI 10.1145/3640792.3675725)
  6. Chandrayan, V., & Alvarez, I. J. (2026). LLMs in the Loop: A Survey of Language-Driven Driver Monitoring and Assistance Systems. Sensors 26(9):2870.(经文献 [1] 转引)
  7. Yu, J. et al. (2025). Agentic Vehicles for Human-Centered Mobility: Definition, Prospects, and Synergistic Co-Development with Vehicle Autonomy. arXiv:2507.04996.(经文献 [1] 转引)