Qwen-Audio-3.1-Realtime: 面向座舱的可靠智能体语音交互，Think-Act-Speak三阶段架构

论文信息

  • 标题： Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction
  • arXiv： 2609.25176 (2026年9月24日)
  • 作者： Alibaba Qwen Team
  • 代码： Qwen AI Platform
  • 发布： 2026云栖大会（9月22日预览）

核心创新

Qwen-Audio-3.1-Realtime提出Think-Act-Speak & Coordinate三阶段架构，构建可靠的智能体语音交互。关键突破：对背景语音误响应率从73.0%降至13.0%。

性能提升

指标 3.0版本 3.1版本 提升
半双工语音任务成功率 78.4% 82.0% +3.6%
背景语音误响应率 73.0% 13.0% -60.0%

三阶段架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
用户语音输入
     │
     ▼
┌─────────────┐
│ 1. Think    │ ← Core-Cocktail SFT + 多教师在线蒸馏
│   理解意图   │
│   规划动作   │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│ 2. Act      │ ← 自演化可执行环境 + 多粒度GRPO
│   调用工具   │
│   执行任务   │
└──────┬──────┘
       │
       ▼
┌─────────────┐
│ 3. Speak &  │ ← 何时说/是否说 对齐
│  Coordinate │
│   生成回复   │
│   协调输出   │
└─────────────┘
       │
       ▼
语音输出

Think阶段：Core-Cocktail SFT

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# Core-Cocktail监督微调策略
core_cocktail_sft = {
    "核心任务": [
        "语音意图理解",
        "多轮对话管理",
        "工具调用规划",
    ],
    "鸡尾酒策略": [
        "核心任务混合辅助任务",
        "多模态多教师在线策略蒸馏",
        "知识从通用→专业迁移",
    ],
    "目标": "提升理解能力同时不丢失通用性"
}

# 多教师在线蒸馏
multi_teacher_distillation = {
    "教师模型": ["Qwen-Audio-3.0", "Qwen-Text-3.0", "外部专家模型"],
    "学生模型": "Qwen-Audio-3.1-Realtime",
    "蒸馏方式": "在线策略蒸馏（非固定logits）",
    "优势": "教师可实时生成、学生实时学习"
}

Act阶段：自演化可执行环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# GRPO训练工具使用
act_training = {
    "环境": "自演化可执行环境",
    "方法": "GRPO (Group Relative Policy Optimization)",
    "rollout": "多粒度rollout",
    "工具": [
        "天气查询", "日程管理", "音乐播放",
        "导航", "车辆控制", "DMS联动"
    ],
    "自演化": "环境根据模型能力自动调整难度"
}

# 座舱场景工具调用示例
cabin_tool_calls = [
    {
        "trigger": "我困了",
        "think": "驾驶员疲劳 → 需要安全干预",
        "act": ["adjust_cabin_temperature(-2)", "open_window(20%)", "play_alert_sound()"],
        "speak": "检测到您可能疲劳，已调低空调温度并开窗通风，请注意休息。"
    },
    {
        "trigger": "后排有孩子吗",
        "think": "查询CPD状态",
        "act": ["check_cpd_status()"],
        "speak": "是的，后排右侧检测到儿童存在，已启动空调和儿童锁。"
    },
    {
        "trigger": "帮我导航到最近的加油站",
        "think": "导航请求",
        "act": ["search_nearby('gas_station')", "start_navigation(result)"],
        "speak": "已找到3公里内的加油站，正在为您导航。"
    }
]

Speak & Coordinate：何时说/是否说

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 背景语音过滤——关键创新
speak_coordinate = {
    "问题": "3.0版本73%误响应背景语音",
    "方案": {
        "何时说": "判断是否需要语音回复",
        "是否说": "判断语音vs文字vs无回复",
        "协调": "多模态输出协调"
    },
    "训练": "对齐人类偏好",
    "效果": "误响应率73%→13%"
}

# 座舱背景噪声场景
background_scenarios = [
    "收音机播音 → 不应误触发",
    "乘客对话 → 不应误触发",
    "儿童哭闹 → 不应误触发",
    "导航语音 → 不应误触发",
    "驾驶员对AI说话 → 应触发"
]

与竞品对比

语音AI 厂商 智能体能力 背景抗干扰 实时性 车载适配
Qwen-Audio-3.1 Alibaba ✅ Think-Act-Speak 13%误响应 ✅ ⚠️ 需适配
SoundHound Oasys SoundHound ✅ 意图理解 中等 ✅ ✅ 车载
Cerence 2.0 Cerence ✅ 意图理解 中等 ✅ ✅ 车载
Whisper+GPT OpenAI ✅ 通用 ⚠️ 无优化 ⚠️ 延迟 ❌

座舱集成方案

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
# Qwen-Audio-3.1 + DMS座舱集成架构
class CabinVoiceAgent:
    """基于Qwen-Audio-3.1的座舱语音智能体"""
    
    def __init__(self):
        self.asr = QwenASR()  # 语音识别
        self.llm = QwenAudioRealtime()  # 意图理解+工具调用+回复生成
        self.tts = QwenTTS()  # 语音合成
        self.dms = DMSInterface()  # DMS状态
        self.cabin_control = CabinControl()  # 座舱控制
        
    def process(self, audio_input, dms_state, cabin_context):
        """
        处理语音输入
        
        Args:
            audio_input: 麦克风音频
            dms_state: DMS当前状态 (疲劳/分心/正常)
            cabin_context: 座舱上下文 (温度/音乐/导航)
        """
        # 1. Think: 理解意图（含DMS状态）
        intent = self.llm.think(audio_input, context={
            "dms_state": dms_state,
            "cabin": cabin_context
        })
        
        # 2. Act: 执行动作
        if intent.action == "fatigue_intervention":
            self.cabin_control.adjust_temperature(-2)
            self.cabin_control.open_window(20)
            self.cabin_control.play_alert()
        
        # 3. Speak: 生成回复（判断是否需要语音）
        if intent.should_speak:
            response = self.llm.speak(intent)
            audio_output = self.tts.synthesize(response)
            return audio_output
        else:
            # 静默执行或文字显示
            return None

IMS开发启示

1. 背景语音抗干扰是座舱核心需求

73%→13%的误响应率降低是关键突破。座舱环境充满背景语音（收音机、乘客对话、导航播报），DMS语音助手必须区分”对AI说话”vs”背景对话”。

2. Think-Act-Speak三阶段可迁移到DMS

阶段 通用AI DMS迁移
Think 理解用户意图 理解驾驶员状态
Act 调用工具 触发DMS干预
Speak 生成回复 语音/图标/HUD输出

3. GRPO训练可适配座舱工具集

1
2
3
4
5
6
7
8
9
10
# 座舱工具集定义
cabin_tools = [
    {"name": "adjust_climate", "params": {"temp": int, "fan": int}},
    {"name": "play_media", "params": {"type": str, "query": str}},
    {"name": "start_navigation", "params": {"dest": str}},
    {"name": "call_emergency", "params": {}},
    {"name": "lock_doors", "params": {"action": str}},
    {"name": "adjust_seat", "params": {"position": str}},
    {"name": "dms_alert", "params": {"level": int, "type": str}},
]

4. 与SoundHound Oasys对比

维度 Qwen-Audio-3.1 SoundHound Oasys
定位 通用语音AI 车载专用
智能体 ✅ Think-Act-Speak ✅ 意图理解
背景抗干扰 ✅ 13%误响应 ⚠️ 未公开
边缘部署 ⚠️ 需量化 ✅ 嵌入式LLM
车规 ❌ 需认证 ✅
开源 部分开源 闭源

参考

发布时间: 2026-09-25 03:00
分类: 语音交互 | AI Agent | 座舱 | 智能体 | 论文解读