ODU-Bench: 14个MLLM仅44.7%正确率，多模态用户意图推理基准

论文信息

  • 标题： Omni Demand Understanding: A Benchmark for Contextual User-Intent Inference in Multimodal Interaction
  • arXiv： 2609.21392 (2026年9月18日)
  • 作者： Qi Chen, Yunfei Chu, Haolin He 等19人
  • 领域： cs.CL, cs.CV, cs.MM, cs.SD

核心发现

ODU-Bench揭示了一个关键能力缺口：当前最强MLLM也无法正确推断用户的上下文意图。Gemini 3.1 Pro仅恢复44.7%的关键信息，14个模型中11个误触发率>50%。

关键数据

指标 最强模型(Gemini 3.1 Pro) 平均
关键信息恢复率 44.7% <40%
误触发率(非需求识别为需求) — >50% (11/14模型)

ODU问题定义

1
2
3
4
5
6
7
8
9
10
11
给定: 交互流(语音+视觉+对话历史)
推断: 
  1. 用户是否在表达需求? (检测)
  2. 如果是，具体意图是什么? (推理)
  3. 从多模态+对话上下文中推断

挑战:
  • 模糊表达 → "这天气真热" → 开空调?
  • 不流利表达 → "嗯...那个...能不能..."
  • 噪声环境 → 车内噪声干扰
  • 非需求语音 → 自言自语≠对AI说话

五维度评估

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# ODU-Bench五维度评估框架
odu_dimensions = {
    "单轮-显式": {
        "描述": "明确直接的用户请求",
        "示例": "打开空调到22度",
        "难度": "低"
    },
    "单轮-隐式": {
        "描述": "需要从上下文推断意图",
        "示例": "好热" → 推断需要降温,
        "难度": "中"
    },
    "单轮-歧义": {
        "描述": "不流利或模糊表达",
        "示例": "嗯...那个...能不能...",
        "难度": "高"
    },
    "多轮-上下文": {
        "描述": "需要对话历史推理",
        "示例": "上次那个再来一次",
        "难度": "高"
    },
    "多轮-非需求": {
        "描述": "语音存在但非AI需求",
        "示例": "跟乘客聊天≠对AI说话",
        "难度": "极高"
    }
}

print("=== ODU-Bench五维度 ===")
for dim, info in odu_dimensions.items():
    print(f"\n{dim} (难度: {info['难度']})")
    print(f"  描述: {info['描述']}")
    print(f"  示例: {info['示例']}")

IMS开发启示

1. 座舱语音AI的核心挑战

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# ODU-Bench对座舱AI的启示
cabin_voice_challenges = {
    "误触发问题": {
        "场景": "驾驶员自言自语/跟乘客聊天",
        "传统方案": "唤醒词限制",
        "ODU启示": "需要上下文意图推理，而非简单唤醒词",
        "影响": "误触发率>50%意味着大量误操作"
    },
    "隐式意图": {
        "场景": "驾驶员说'好困'",
        "传统方案": "不理解，无响应",
        "ODU启示": "应推断→推荐休息+降温+提神音乐",
        "技术": "DMS疲劳检测+语音+上下文融合"
    },
    "多模态融合": {
        "场景": "驾驶员指向仪表盘说'这个怎么关'",
        "传统方案": "不理解'这个'",
        "ODU启示": "需融合手势+视线+对话历史",
        "技术": "视线追踪+手势识别+LLM推理"
    }
}

2. 座舱ODU系统设计

参考

发布时间: 2026-09-25 00:00
分类: 语音AI | 多模态 | 意图推理 | 基准测试 | 论文解读