多模态车内监控真正缺的不是更多传感器而是Degradation-Aware-Sensor-Role-Assignment

多模态车内监控真正缺的，不是更多传感器，而是 Degradation-Aware Sensor Role Assignment

日期： 2026-03-31
主题： In-Cabin Monitoring / Multimodal Fusion / Sensor Roles / Degradation / Radar / Camera / IR

一句话结论

多模态车内监控真正缺的，不是再往车里塞更多传感器，而是：在不同退化场景下，系统能否动态决定“此刻谁主导语义、谁提供存在性、谁负责兜底、谁应被降权”。

也就是说，真正稀缺的是 degradation-aware sensor role assignment。

为什么这个问题越来越关键

公开行业信号已经足够明显：

Premium OEM 普遍走 camera + IR + radar + multimodal 路线
Euro NCAP 2026 对低光、遮挡、不同 seating positions、child presence、occupant protection 都提高了要求
CES 2026 展示中，Novelic 强调 radar + camera 冗余，Smart Eye / Valeo / Gentex 则强调不同 sensor 组合下的安全能力
Anyverse 等厂商也反复强调仅靠 RGB 不足以覆盖 real-world edge cases

很多团队看到这些信号后的直觉是：

多模态 = 加更多传感器 = 更稳。

这只说对了一半。

真正难的不是“有多少模态”，而是：

夜间/逆光时，camera 该不该退居二线
厚毯遮挡 child presence 时，雷达是否成为 dominant presence source
under-display camera 画质波动时，哪些任务仍应信它，哪些不该信
某个模态 degraded 时，系统是否显式重分配角色，而不是继续平均融合

所以问题核心已经从 fusion 升级为 role assignment under degradation。

为什么简单融合会失效

1. 不同模态本来就擅长不同语义

以车内场景为例：

RGB / IR camera：更擅长语义、姿态、belt routing、phone use、gaze
radar：更擅长存在性、微动、遮挡下 CPD/vital signs
seat sensor / weight / pressure：更擅长 occupancy 与局部物理状态

如果系统把这些模态长期当成“平等投票者”，在退化场景下就会很脆：

camera degraded 仍占高权重
radar 只能提供 presence 却被拿去解释高语义任务
某个模态本该兜底，却没有被提升为主导

2. 退化不是异常事件，而是日常运行条件

车内场景里的 degradation 非常普遍：

sunglasses
low light / night
mask / occlusion
blanket / child seat遮挡
dirty lens / under-display artifacts
unusual posture / reclined seat
thermal / compute constraints 导致采样退化

这些不应被当成偶发 bug，而应被视为常态输入。也因此，sensor role assignment 不能是手工规则补丁，而必须进入正式架构。

3. 不同功能对模态退化的容忍度不同

同一个传感器 degraded，对不同功能影响完全不同：

对 CPD：雷达 degraded 可能比 camera degraded 更严重
对 gaze/hazard acknowledgment：camera/IR degraded 直接影响核心能力
对 seatbelt misuse：视觉语义失真可能非常致命
对 occupant count / eCall snapshot：某些 degraded 情况下可能仍可保留 reportable truth

所以 role assignment 不是平台统一一条权重表，而是功能相关、场景相关、退化相关的动态策略。

真正需要的是 Sensor Role Controller

更合理的多模态架构，不应只是：

camera + radar + IR -> fusion

而应该是：

Sensor Health Layer → Functional Role Assignment → Truth Generation → Policy / Action Layer

A. Sensor Health Layer

回答：

哪个模态当前 degraded
degradation 类型是什么
对哪些功能造成影响

B. Functional Role Assignment

明确：

dominant_semantic_sensor
dominant_presence_sensor
fallback_sensor
cross_check_sensor
suppressed_sensor

C. Truth Generation

基于动态角色，而不是固定融合权重，输出当前 truth object。

这三层才是多模态量产系统真正需要的骨架。

对 IMS / 多模态车内监控开发的直接启示

优先级 1：把 sensor role 显式建模

建议正式定义：

sensor_health_state
degradation_type
functional_role_assignment
dominant_sensor_by_task
cross_check_state
fallback_role_state
suppressed_sensor_reason

优先级 2：按功能拆 role，而不是一套全局权重

例如：

CPD：radar 主导 presence，camera 提供 semantic confirmation
gaze/hazard acknowledgment：IR/camera 主导，radar 不参与主语义
seatbelt misuse：camera 主导，seat sensor 只提供 occupancy 辅助
eCall occupant snapshot：多模态共证但 reportable truth 需看 degradation confidence

优先级 3：把 degradation case 变成主回归资产

必须重点覆盖：

blanket occlusion
sunglasses / low IR quality
under-display camera degradation
low light / night cabin
radar noisy / residual vibration
compute throttling 导致部分模态降频

优先级 4：让下游消费的是 role-aware truth，而不是原始 fusion score

下游真正需要知道的是：

当前 truth 由谁主导
哪个模态在兜底
哪些结论因退化被降权
当前 confidence 是否足以支持强动作

一个更现实的判断

未来多模态车内监控的系统壁垒，不会主要由“装了多少传感器”决定，而会更多由下面三件事决定：

谁能在退化场景下动态分配 sensor roles
谁能按功能而不是按模态统一 role semantics
谁能把 degradation-aware role assignment 接到 truth / policy / reporting 链路上

因此多模态车内监控真正缺的，不是更多传感器，而是 degradation-aware sensor role assignment。

可直接执行的研发清单

本周可做

定义第一版 functional_role_assignment
盘点现有融合逻辑里哪些仍是假定固定权重
把 5 类典型 degradation 场景列成 regression 集

本月可做

为 CPD / gaze / belt misuse / occupant truth 分别定义 dominant sensor policy
补 suppressed_sensor_reason / fallback_role_state
建立 degradation-aware truth generation 回放流程

下一阶段必须做

引入统一 Sensor Role Controller
将 sensor health 与 power/thermal/runtime 调度联动
将 role assignment trace 纳入 dossier / release gate

参考来源

Anyverse, In-Cabin Monitoring at CES 2026: From Driver Monitoring to Agentic Cabin Intelligence
https://anyverse.ai/in-cabin-monitoring-ces-2026/
Anyverse, Euro NCAP 2026: How Leading Automakers Are Preparing for In-Cabin Safety Standards
https://anyverse.ai/euro-ncap-2026-how-leading-automakers-are-preparing-for-in-cabin-safety-standards/
Euro NCAP 2026 readiness commentary on multimodal sensing and edge-case robustness
https://medium.com/anyverse/euro-ncap-2026-in-cabin-monitoring-oem-guidelines-to-readiness-4a8ece929982