共识引导三视图学习：语音情感识别的新架构

论文信息

  • 标题： Consensus-Guided Shared-Specific Tri-View Learning for Speech Emotion Recognition
  • arXiv： 2609.19826 (2026年9月17日)
  • 作者： Xikun Lu, Bing Huang 等
  • 领域： 语音情感识别

核心创新

提出共识引导的共享-特异三视图学习框架，从语音中提取三种互补视图：共识视图(跨模态共享) + 特异视图(模态独有) + 融合视图，用于语音情感识别(SER)。

三视图架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
"""
论文：Consensus-Guided Shared-Specific Tri-View Learning for Speech Emotion Recognition
arXiv: 2609.19826

核心方法：三视图分解(共识+特异+融合)
"""

import torch
import torch.nn as nn

class TriViewSER(nn.Module):
    """共识引导三视图语音情感识别"""
    
    def __init__(self, audio_dim=256, hidden=128, num_emotions=7):
        super().__init__()
        
        # 音频编码器
        self.audio_encoder = nn.Sequential(
            nn.Linear(audio_dim, hidden),
            nn.GELU(),
            nn.Linear(hidden, hidden)
        )
        
        # 三视图分解
        self.shared_view = nn.Sequential(  # 共识视图
            nn.Linear(hidden, hidden//2),
            nn.GELU(),
            nn.Linear(hidden//2, hidden//2)
        )
        self.specific_view = nn.Sequential(  # 特异视图
            nn.Linear(hidden, hidden//2),
            nn.GELU(),
            nn.Linear(hidden//2, hidden//2)
        )
        self.fusion_view = nn.Sequential(  # 融合视图
            nn.Linear(hidden, hidden//2),
            nn.GELU(),
            nn.Linear(hidden//2, hidden//2)
        )
        
        # 共识引导模块
        self.consensus_gate = nn.Sequential(
            nn.Linear(hidden//2 * 3, hidden),
            nn.Sigmoid()
        )
        
        # 分类头
        self.classifier = nn.Sequential(
            nn.Linear(hidden//2 * 3, hidden),
            nn.GELU(),
            nn.Dropout(0.3),
            nn.Linear(hidden, num_emotions)
        )
    
    def forward(self, audio_feat):
        # 编码
        encoded = self.audio_encoder(audio_feat)
        
        # 三视图
        shared = self.shared_view(encoded)
        specific = self.specific_view(encoded)
        fusion = self.fusion_view(encoded)
        
        # 共识引导
        concat = torch.cat([shared, specific, fusion], dim=-1)
        gate = self.consensus_gate(concat)
        gated = concat * gate
        
        # 分类
        return self.classifier(gated)

if __name__ == "__main__":
    model = TriViewSER()
    x = torch.randn(8, 256)
    out = model(x)
    print(f"输入: {x.shape} → 输出: {out.shape}")
    print(f"模型参数: {sum(p.numel() for p in model.parameters()):,}")

IMS应用

座舱语音情感监测

场景 语音特征 情感 座舱响应
疲劳驾驶 语速慢/停顿多 低唤醒 推荐休息
暴怒驾驶 音量高/急促 愤怒 舒缓音乐+安全路线
紧张驾驶 音调高/颤抖 焦虑 减少干扰+ADAS增强
满意驾驶 音调平稳 满意 维持当前

参考

发布时间: 2026-09-25 00:00
分类: 语音 | 情感识别 | 三视图 | 座舱 | 论文解读