风险感知选择性多模态 DMS：驾驶员状态世界建模——2026 前沿架构（论文解读）

论文信息

  • 标题： Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling
  • 作者： Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang
  • 发表： arXiv（2026年6月25日）
  • 核心贡献： 结合大视觉语言模型与世界建模的风险感知 DMS，按风险等级选择性激活模态

1. 核心创新

1.1 现有 DMS 的问题

问题 描述 Risk-Aware 方案
全时全模态 高功耗/计算浪费 按风险选择性激活
不确定性 低置信度时仍决策 风险感知避免不安全决策
模态单一 仅视觉或仅生理 大视觉语言模型多模态
无世界模型 不理解状态演进 驾驶员状态世界建模

1.2 架构

2. 关键技术

2.1 选择性多模态激活

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
import torch
import torch.nn as nn

class RiskAwareSelectiveDMS(nn.Module):
    """
    风险感知选择性多模态DMS
    
    论文：Qiu et al., arXiv 2026-06
    核心：按风险等级选择性激活模态，低风险轻量，高风险全模态
    """
    
    def __init__(self, light_model, full_model, risk_threshold=0.5):
        super().__init__()
        self.light_model = light_model  # 轻量视频模型
        self.full_model = full_model    # 全模态大模型
        self.risk_threshold = risk_threshold
        
        # 风险评估器
        self.risk_assessor = nn.Sequential(
            nn.Linear(64, 32), nn.ReLU(),
            nn.Linear(32, 1), nn.Sigmoid()
        )
    
    def forward(self, video, phys=None, can=None):
        # 轻量模型提取基础特征
        light_feat = self.light_model.extract_features(video)
        
        # 评估风险
        risk_score = self.risk_assessor(light_feat.mean(dim=(2,3)))
        
        if risk_score < self.risk_threshold:
            # 低风险：仅用轻量模型
            output = self.light_model(light_feat)
            mode = 'light'
        else:
            # 高风险：激活全模态
            output = self.full_model(video, phys, can)
            mode = 'full'
        
        return {
            'prediction': output,
            'risk_score': risk_score,
            'mode': mode,
        }

2.2 驾驶员状态世界模型

组件 功能
状态编码 当前驾驶员状态 → 隐空间
状态转移 预测下一时刻状态（正常→疲劳→微睡眠）
风险映射 状态→安全风险等级

2.3 功耗对比

方案 平均功耗 峰值功耗 准确率
全时全模态 8W 8W 95%
全时轻量 2W 2W 85%
选择性 3W 8W 93%

3. 对 IMS 的开发启示

优先级 任务 时间
P0 风险评估器基线实现 2027 Q1
P1 轻量+全模态双路径架构 2027 Q1
P1 驾驶员状态世界模型原型 2027 Q2
P2 功耗-精度优化 2027 Q3

4. 总结

风险感知选择性多模态 DMS 是功耗-精度平衡的理想架构。低风险时仅用视频轻量模型，高风险时激活全模态大模型，平均功耗降低 62.5% 而精度仅降 2%。

参考来源：

  • Risk-Aware Selective DMS, Qiu et al., arXiv（2026-06-25）