Smart Eye 多模态座舱 AI Agent:Agentic AI 进入汽车
Smart Eye 多模态座舱 AI Agent:Agentic AI 进入汽车
InCabin Europe 2026 全球首发深度解读
发布信息
- 发布方: Smart Eye(STO:SEYE, OTC:SMTEF)
- 发布日期: 2026年9月23日
- 展示场合: InCabin Europe 2026,巴塞罗那,展位 #305
- 新闻来源: https://www.stocktitan.net/news/SMTEF/smart-eye-unveils-world-first-multimodal-automotive-ai-agent-p60ra2dqur25.html
- 定位: 全球首个融合人类行为 + 座舱 + 车辆 + 环境的多模态汽车 AI Agent
核心创新
Smart Eye 的 AI Agent 不是一个更聪明的语音助手——它是一个能理解上下文、做决策、执行动作的 Agentic AI 系统:
传统语音助手: “帮我导航到加油站” → 搜索 → 显示结果
Smart Eye AI Agent: 融合视线+情绪+驾驶状态+车外情境 → 理解”那个”加油站 → 主动规划路线
关键能力
| 能力 | 说明 | 技术基础 |
|---|---|---|
| 多模态上下文融合 | 语音+视线+身份+注意力+情绪+驾驶状态+座舱占用+车内外传感器 | 多模态融合引擎 |
| 指代消解 | “那个加油站”→ 结合视线方向+车外传感器确定目标 | gaze + exterior sensing |
| 动作执行 | 通过车辆功能和服务执行任务 | API 调用 + dashboard widgets |
| 仪表盘生成 | 使用实时驾驶员和座舱数据创建 dashboard widgets | 动态 UI 生成 |
| 基础模型无关 | 可与不同的 foundation model、语音系统配合 | 平台无关架构 |
| 边云协同 | 边缘或云端部署 | 灵活部署 |
架构分析
graph TD
subgraph 人类行为输入
A1[语音]
A2[驾驶员身份]
A3[视线方向]
A4[注意力状态]
A5[情绪状态]
A6[驾驶状态]
A7[座舱占用]
end
subgraph 车辆传感器
B1[内饰摄像头]
B2[外饰传感器/ADAS]
B3[车辆状态]
B4[CAN-Bus 数据]
end
subgraph AI Agent 核
C1[上下文融合引擎]
C2[决策模块]
C3[动作执行器]
end
A1 --> C1
A2 --> C1
A3 --> C1
A4 --> C1
A5 --> C1
A6 --> C1
A7 --> C1
B1 --> C1
B2 --> C1
B3 --> C1
B4 --> C1
C1 --> C2
C2 --> C3
C3 --> D1[车辆功能控制]
C3 --> D2[信息服务]
C3 --> D3[Dashboard Widget]
C3 --> D4[ADAS 协同]
与 Minieye BamBam 对比
| 维度 | Smart Eye AI Agent | Minieye BamBam |
|---|---|---|
| 技术基础 | 多模态融合 + foundation model | VLM (Vision-Language Model) |
| 核心优势 | 视线+注意力+情绪理解(Smart Eye 核心能力) | 视觉理解 + 情感计算 |
| 部署方式 | 边缘或云端(灵活) | 基于 OpenClaw |
| 指代消解 | ✅ gaze + exterior sensing | ⚠️ 未明确 |
| 平台策略 | 基础模型无关(agnostic) | 自主 VLM |
| 客户基础 | 24 OEM, 380 车型 | 40+ OEM |
| 重点方向 | Agentic AI(决策+执行) | 舱内管家(交互+情感) |
核心价值:降低 Agentic AI 计算成本
Smart Eye 的关键论点是:通过多模态上下文预融合,降低 Agentic AI 的计算需求。
1 | """ |
运行结果
1 | === Agentic AI 成本对比 === |
关键洞察: 多模态预融合可降低 72.9% 的 Agentic AI 计算成本,这是 Smart Eye 方案的核心经济价值。
Smart Eye 的平台策略
Smart Eye 正在将自己从 DMS 软件供应商转变为座舱 AI 平台:
graph LR
subgraph 传统定位
A1[DMS 算法] --> A2[OEM]
end
subgraph 新定位
B1[Human Insight AI] --> B2[AI Agent 平台]
B2 --> B3[OEM]
B2 --> B4[Tier 1]
B2 --> B5[Foundation Model]
end
A1 -.->|升级| B1
生态合作矩阵
| 合作方 | 角色 | 技术互补 |
|---|---|---|
| NOVELIC | 60GHz 雷达硬件 | CPD + 生命体征 + 占用检测 |
| Murata | 60GHz 雷达 + 摄像头 | 传感器融合硬件 |
| Foundation Model 厂商 | LLM/VLM | 语音理解 + 推理 |
| OEM | 集成 | 24 OEM, 380 车型基础 |
| Tier 1 | 系统集成 | 量产落地 |
InCabin Europe 2026 座舱 AI Agent 全景
| 公司 | Agent 产品 | 核心技术 | 差异化 |
|---|---|---|---|
| Smart Eye | 多模态 AI Agent | Human Insight + ADAS 融合 | 视线+注意力+情绪 |
| Minieye | BamBam AI Cabin Butler | VLM + 情感计算 | 基于 OpenClaw |
| BMW | AI 语音助手 + Panoramic iDrive | 全景 HUD + OS X | CES 2026 发布 |
对 IMS 开发的启示
1. Agentic AI 是座舱下一站
Smart Eye 和 Minieye 同时在 InCabin 2026 发布座舱 AI Agent,标志着行业方向:
IMS 需要考虑:
- DMS 数据不仅是安全功能,更是 AI Agent 的上下文输入
- 情绪、视线、注意力状态 → 让 Agent 更懂人
- 这与 DFR (Driver Functional Readiness) 形成互补
2. 多模态预融合的工程价值
Smart Eye 的”预融合降低计算成本”思路对 IMS 架构有直接参考:
1 | """ |
3. “基础模型无关”策略
Smart Eye 的”agnostic platform”策略值得 IMS 借鉴:
- 不绑定特定 LLM(GPT/Claude/本地模型均可)
- 不绑定语音系统
- 可边缘部署也可云端部署
IMS 建议: Agent 层与感知层解耦,通过标准化接口连接不同基础模型。
4. 指代消解:视线+车外传感器
Smart Eye 演示了一个关键场景:结合驾驶员视线和车外传感器理解指代。
例如:驾驶员说”那个加油站”→ Agent 查看视线方向 → 匹配车外 ADAS 传感器识别的加油站 → 确认目标。
IMS 实现路径:
1 | gaze_direction → 投影到车外坐标系 → 匹配 ADAS 检测结果 → 指代消解 |
结论
Smart Eye 的多模态 AI Agent 代表了座舱 AI 从”工具”到”Agent”的跃迁。其核心价值不在于 AI 本身,而在于通过多模态预融合降低 Agent 的计算成本,使 Agentic AI 在车载场景中经济可行。
对 IMS 开发而言,感知层 → 融合层 → Agent 层的三层架构是面向未来的正确路径。DMS 数据不仅是安全功能,更是 AI Agent 的核心上下文输入。
参考链接: