PhysAgent 精读:4B MLLM 仲裁 rPPG 多模型分歧,推理端融合的工程账第一次算清——以及哪些部分今天就能上车
PhysAgent 精读:4B MLLM 仲裁 rPPG 多模型分歧,推理端融合的工程账第一次算清——以及哪些部分今天就能上车10 月 23 日站内 FLOW 精读把 PhysAgent(arXiv:2608.00066,2026-07-29 提交)列为 rPPG 鲁棒性”采集-训练-推理”三线分工里的推理端代表,但当时只有摘要页可读、全文未给任何数字,文中明确留了”摘要未给具体数字,本文不做转引”的占位。现在全文 HTML 已放出:这是一个不训练任何新模型、纯推理时运行的多智能体候选验证框架——用本地部署的 Qwen3-VL-4B 驱动三个 agent 加一个裁决者(Judge),对多个 rPPG 估计器给出的”相互矛盾但各自都像对的”心率候选做仲裁,再经一个确定性验证器把关、走可复现的数值融合。域内四基准平均 MAE 3.60 bpm(R 0.89),跨域 leave-one-out 平均 4.83 bpm(R 0.79),两个数字都同时压过最强单模型和五种经典融合基线。 这对读者意味着什么:rPPG 供应商演示时最常见的话术是”我们有多个模型交叉验证,更可靠”——PhysA...
NTSB Katy 初步报告拆解:驾驶员把加速踏板踩到 100% 覆盖 FSD 之后,DMS 与 ADAS 之间缺的那层意图仲裁
NTSB Katy 初步报告拆解:驾驶员把加速踏板踩到 100% 覆盖 FSD 之后,DMS 与 ADAS 之间缺的那层意图仲裁2026 年 7 月 15 日,美国国家运输安全委员会(NTSB)发布 Katy(得克萨斯州)致命事故的初步报告:今年 6 月下旬的一个周末,一辆开启 Full Self-Driving (Supervised) 的 Model 3 在限速 30 mph 的住宅街 Rose Hollow Lane 上驶出路面、撞入民宅,造成屋内 76 岁的 Martha Avila 死亡;NTSB 从车辆恢复的电子数据显示,驾驶员把加速踏板踩到了 100%,以”人工覆盖(manual override)”的方式解除了 FSD,车辆撞击时时速超过 70 mph(据 TechCrunch 2026-07-15 与 Drive Tesla Canada 2026-07-16 对 NTSB 初步报告的报道)。而驾驶员 Michael Butler 此前对警方的主张是:他”昏了过去”,当时在用特斯拉的驾驶辅助系统(TechCrunch,2026-07-15)。他已被控过失杀人,死...
舱内传感架构正在收敛:转向柱单目十年后,一颗中央摄像头加一路 4D 雷达要同时看住司机和乘员——EU JRC 访谈与 Smart Eye/Vayyar 三重供应商证据
舱内传感架构正在收敛:转向柱单目十年后,一颗中央摄像头加一路 4D 雷达要同时看住司机和乘员——EU JRC 访谈与 Smart Eye/Vayyar 三重供应商证据舱内感知的硬件架构正在发生一次十年来最大的一轮收敛:过去十年”一颗转向柱红外摄像头盯正脸”的标准答案,正在被”一颗装在内后视镜或仪表台中部的广角中央摄像头 + 一路短距毫米波雷达”的组合取代——一颗摄像头同时覆盖司机和前后排乘员,雷达补上摄像头看不见的织物遮挡与视线死角。这不是某个厂商的独家路线,而是 2026 年 10 月同时出现的三个独立信号:欧盟联合研究中心(JRC)项目官员 Davide Maggi 在 AutoSens Europe 2026(巴塞罗那)上的访谈——“It seems like everyone is moving away from a driver monitoring system just facing the driver”(据 EE Times 2026-10-26 报道);Smart Eye 在同一天官宣把舱内监控软件加装到既有 DMS 平台的同一款车型上(官方通稿 ...
从车队试点到法庭判令:美国累犯 ISA 落地地图——八州+DC 的"Stop Super Speeders"时间线、设备规格与 NYC 车队 3,000 辆扩容拆解
从车队试点到法庭判令:美国累犯 ISA 落地地图——八州+DC 的”Stop Super Speeders”时间线、设备规格与 NYC 车队 3,000 辆扩容拆解超速治理的技术路线正在分叉。欧盟走的是 R171 的全员标配路线:每一台新认证车都装 ISA,再用 DCAS 精度条款约束超驰;美国走的是另一条路——把 ISA 变成对最差驾驶员的”定点判决装置”:相机罚单积累到阈值、或被判超速重罪,法庭与车管所就能强制你在自己的车里装一台限速器。2026 年,这条累犯 ISA 路线在美国密集跨过”立法通过”的门槛、进入落地执行期:弗吉尼亚 7 月 1 日成为全美首个上线州级法院判令 ISA 的州,马里兰 10 月 1 日生效,NYC 车队 10 月 22 日宣布三年内从 1,000 辆扩到 3,000 辆,纽约州的”16 张学区相机罚单换一台限速器”从 2027 年开始执行。 我认为这对座舱感知从业者是一个被低估的信号:累犯 ISA 创造了一个真实存在的后装 ISA 设备采购市场——由法庭、DMV 和市车队管理者三种买家构成,每个买家对设备的超驰语义、防拆、数据留存都有明确到条款级的...
BATON 基准拆解:204.9 小时自然驾驶数据证明接管预测的瓶颈是信息不是模型——检测 AUPRC 0.478,预判 0.056,量产系统 0.293
BATON 基准拆解:204.9 小时自然驾驶数据证明接管预测的瓶颈是信息不是模型——检测 AUPRC 0.478,预判 0.056,量产系统 0.293L2 驾驶自动化(openpilot、stock ACC/LKA)在中国与北美的存量车上已经跑了数百万公里,但”系统什么时候会被人类接管”这件事,至今没有一个像样的公开基准:所谓接管研究,绝大多数来自模拟器或几十人的受控实验。arXiv 2604.07263(BATON,Wang、Xu、Yang、Li、Sun、Zhou,v1 2026-04-08,v2 2026-07-27,仓库标注 Under review at the KDD 2027 Datasets and Benchmarks Track)给出的是目前规模最大的自然驾驶答案:781 条路线、204.9 小时、173 名真实 openpilot 用户的真实通勤数据,切出 3,593 次双向控制权转移,定义三个基准任务。它的三个结果都值得 IMS 团队记住——检测一次进行中的接管,表格模型就能做到 sample AUPRC 0.478;但把司机输入通道抽掉、要求...
接触式标签不一定更好:rPPG 伪标签边界精读(arXiv 2609.10026)——软件同步数据上 TS-CAN 用金标准训练 MAE 8.61,用 POS 伪标签反而 0.73
接触式标签不一定更好:rPPG 伪标签边界精读(arXiv 2609.10026)——软件同步数据上 TS-CAN 用金标准训练 MAE 8.61,用 POS 伪标签反而 0.73深度 rPPG 模型的训练一直默认一条铁律:必须有视频与接触式传感器(指尖血氧/ECG)精确同步的”金标准”标签,而这套数据采集贵、慢、难扩。arXiv 2609.10026(Acharya、Hammer、Drimalla,Bielefeld 大学,v1 2026-09-09,未挂 venue、未放代码)把这条铁律拆开量化了:在软件时间戳同步的数据集(CHILL,45 人)上,用接触式金标准直接监督训练 TS-CAN,心率 MAE 高达 8.61 bpm;换成用 POS 信号处理算法从视频里自提的伪标签训练,同一个模型 MAE 降到 0.73——差距 12 倍。而在硬件级同步的 PURE(10 人)上,两种标签打平。边界不在”伪标签 vs 金标准”,而在同步质量。 这对我们 IMS 团队是直接的预算问题:车载舱内 rPPG 的训练数据要么自采(部署接触式参考、做时间对齐,每个被试都是一次现场工...
StreamPPG 精读:一致性特权学习把逐帧 rPPG 推上 Jetson AGX Orin——53 FPS 端到端背后,是一个被消融实验证明的因果掩码命门
StreamPPG 精读:一致性特权学习把逐帧 rPPG 推上 Jetson AGX Orin——53 FPS 端到端背后,是一个被消融实验证明的因果掩码命门摄像头 rPPG 有两类推理范式,部署视角下各有一笔难看的账。clip-wise 方法(PhysNet、PhysFormer、RhythmMamba)要先攒够 128–160 帧视频窗口再出一次数,30 FPS 相机下这是 4–5 秒的信息延迟——对健康趋势展示无所谓,对要与 ADAS 告警、L3 无响应驾驶员干预共享时延预算的舱内闭环,直接出局。frame-wise 方法(TS-CAN 一系)延迟为零,但精度长期掉队:StreamPPG 论文 Table IX 里 TS-CAN 在 UBFC 上 RMSE 2.72 bpm,比同期 clip 方法差 4–10 倍。arXiv 2606.23186(StreamPPG,Li、Yang、Chu、Hu、Yu、Zhang、Shen,v1 2026-06-22,v2 2026-09-28,未挂 venue、未放代码)给的是一个两边都要的答案:逐帧因果推理(严格一帧进一帧出),UBFC...
rPPG 波形形态极限精读:16 种架构、153 名被试无一逃出 Template Collapse——消费级摄像头在物理层就还原不了个体脉搏形态,该承诺的只有心率与时间比特征
rPPG 波形形态极限精读:16 种架构、153 名被试无一逃出 Template Collapse——消费级摄像头在物理层就还原不了个体脉搏形态,该承诺的只有心率与时间比特征rPPG 文献里最好看的一类结果正在大面积失真:摄像头重建脉搏波,per-subject 相关系数 0.87、0.99,看起来”波形形态都还原出来了”。arXiv 2606.03802(2026-06-02 提交,单作者,未挂会议/期刊)用一组设计得非常刁钻的审计把这件事拆穿了——16 种架构、6 个模型家族、153 名被试,没有任何一个模型还原出个体特异的脉搏形态;所有模型输出都塌缩到了同一个群体级模板,作者把这个失效模式命名为 Template Collapse(Template Collapse and Information-Theoretic Limits in Camera rPPG Pulse Morphology Restoration,Ben Ahmed,2026,arXiv:2606.03802)。判断依据不是”效果不好”,而是一个新的评估指标:cross-subject Pe...
IIHS×Volpe 车队主动 ISA 报告拆解:NYC 500 车试点把严重超速驾驶时间砍掉 64.18%,而对照组同期上升 9.71%——13 家车队访谈提炼的四条落地手册,以及 DMS 团队能直接对齐的四个接口
IIHS×Volpe 车队主动 ISA 报告拆解:NYC 500 车试点把严重超速驾驶时间砍掉 64.18%,而对照组同期上升 9.71%——13 家车队访谈提炼的四条落地手册,以及 DMS 团队能直接对齐的四个接口先给一句可以被引用的论断:主动 ISA(智能速度辅助)已经跨过了”-field trial 有效”到”车队级规模部署有效”的门槛——美国最大市政车队 NYC DCAS 的 500 车主动 ISA 改装队列在 894,938 英里研究周期里,超过限速 11 mph 以上的严重超速驾驶时间占比从 3.17% 降到 1.14%(相对下降 64.18%),而配对对照组同期从 3.13% 升到 3.43%(相对上升 9.71%);同一天然实验最重要的方法学资产不是那个 64%,而是”有对照组”——它把效应归因钉死在了 ISA 设备本身,而不是天气、任务结构或车型(Volpe Center, NYC ISA Pilot Evaluation, DOT-VNTSC-NYC-24-02, 2024-10,ref/2357 与 IIHS 新闻稿 2026-03-10)。 这件...
犹他州 0.05% BAC 法规四年延长评估拆解:IIHS 新报告如何处理拒测样本、宣传期效应与疫情混杂三个评估难题,以及这组方法学对车载损伤检测 ground truth 构建的含义
犹他州 0.05% BAC 法规四年延长评估拆解:IIHS 新报告如何处理拒测样本、宣传期效应与疫情混杂三个评估难题,以及这组方法学对车载损伤检测 ground truth 构建的含义先给一句可以被引用的论断:IIHS 在 2026 年 10 月发布的犹他州 0.05% BAC 法规延长评估(Tippetts & Eichelberger,IIHS 报告,2026-10,ref/2382)真正值得 IMS 团队读的不是”-9%”这个结论,而是它为得到这个结论所做的四处方法学补丁——把拒绝 BAC 检测的驾驶员计为酒驾样本、用”单车夜间事故”做免执法偏差的代理指标、引入亚利桑那/爱达荷/科罗拉多三个对比州、把 2017 年法案通过期与疫情期单独分层;这四件事恰好是车载损伤检测从研发走向部署时构建 ground truth 与有效性监控的同款难题,而且报告自己也承认:”犹他州独特的饮酒环境与疫情混杂使我们无法确定效应量的大小”(ref/2382 摘要原文引句)。 这件事对 IMS/DMS 团队为什么重要:损伤检测(alcoho...