CARE框架：语音情绪×道路条件的驾驶员安全干预系统——IEEE ITSC 2026

论文信息

项目 内容
标题 Multimodal Drivers’ Emotion Recognition and Safety-Oriented Intervention for Intelligent Transportation Systems
会议 IEEE ITSC 2026
arXiv arXiv:2608.06378 (2026年6月5日)
核心 CARE (Context-Aware Road-Emotion Evaluation) Score

核心创新

首个安全优先的多模态驾驶员辅助框架——不仅识别情绪，还结合道路安全状况生成结构化干预：

  1. 语音情绪识别：从驾驶员语音提取情绪线索
  2. 道路条件感知：视觉感知道路安全状况
  3. CARE评分：联合评估情绪+风险→生成干预
  4. 两阶段干预：先安全提醒→再情绪调节

框架架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
class CAREFramework:
    """
    CARE: Context-Aware Road-Emotion Evaluation
    
    两阶段干预：
    Stage 1: 道路安全提醒（优先）
    Stage 2: 情绪对齐的言语支持（次要）
    """
    
    def __init__(self):
        self.emotion_recognizer = SpeechEmotionRecognizer()
        self.road_analyzer = RoadConditionAnalyzer()
        self.care_scorer = CAREScorer()
        self.intervention_generator = InterventionGenerator()
    
    def process(self, speech_input, road_image):
        """
        处理流程
        
        Args:
            speech_input: 驾驶员语音
            road_image: 前方道路图像
        
        Returns:
            intervention: 结构化干预消息
        """
        # 1. 语音情绪识别
        emotion = self.emotion_recognizer(speech_input)
        
        # 2. 道路条件分析
        road_safety = self.road_analyzer(road_image)
        
        # 3. CARE评分
        care_score = self.care_scorer(emotion, road_safety)
        
        # 4. 两阶段干预
        safety_reminder = self.intervention_generator.safety_first(road_safety)
        emotion_support = self.intervention_generator.emotion_aligned(emotion)
        
        return {
            "emotion": emotion,
            "road_safety": road_safety,
            "care_score": care_score,
            "safety_reminder": safety_reminder,
            "emotion_support": emotion_support
        }


class CAREScorer:
    """
    CARE评分：联合评估情绪识别、风险识别和干预生成
    
    三个维度：
    - 情绪准确率
    - 风险识别准确率
    - 干预质量
    """
    
    def compute(self, emotion, road_safety):
        emotion_score = self.eval_emotion(emotion)
        risk_score = self.eval_risk(road_safety)
        intervention_score = self.eval_intervention(emotion, road_safety)
        
        # 加权联合
        care = (0.3 * emotion_score + 
                0.4 * risk_score + 
                0.3 * intervention_score)
        
        return care

干预策略

情绪状态 道路风险 干预类型 示例
愤怒 高 安全+冷静 “前方行人，减速”→”深呼吸，保持冷静”
焦虑 高 安全+安抚 “弯道减速”→”不用担心，慢行通过”
愤怒 低 情绪调节 “前方畅通，放松心态”
放松 高 安全提醒 “注意！前方学校区域”
疲劳 中 安全+唤醒 “保持清醒，开窗通风”
焦虑 低 情绪支持 “道路畅通，放松驾驶”

与EmoRoad的互补

维度 EmoRoad CARE框架
贡献 数据集 算法框架
信号 EEG+眼动+生理 语音+视觉
情绪维度 valence/arousal 离散情绪
干预 ❌ ✅ 两阶段
场景 8种真实驾驶 道路条件感知

IMS开发启示

1. 从检测到干预的演进

1
2
3
DMS 1.0: 检测（疲劳/分心 → 警告）
DMS 2.0: 情绪感知（愤怒/焦虑 → 调节）
DMS 3.0: 情境干预（情绪×道路 → 个性化干预）

2. 语音情绪在DMS中的价值

优势 详情
非侵入 无需额外硬件（已有车载麦克风）
实时 语音信号可实时分析
情绪敏感 语音特征对情绪变化敏感
多语言 需要多语言模型

3. 落地路线

阶段 能力 依赖
短期 语音情绪识别 车载麦克风
中期 语音+面部情绪融合 DMS摄像头
长期 情绪×场景干预 ADAS融合

总结

CARE框架填补了驾驶员情绪研究中从识别到干预的关键空白。两阶段干预策略（安全优先→情绪调节）为IMS系统提供了可行的情绪化驾驶辅助范式。与EmoRoad数据集互补，共同构成情绪感知DMS的研究基础。对IMS的核心启示：未来的DMS不仅要检测”驾驶员在做什么”，还要理解”驾驶员感觉如何”，并在正确时机给出正确干预。