Smart Eye多模态车载AI Agent: 融合人+车+环境上下文，加速座舱Agentic AI落地

行业动态

时间： 2026年9月23日，InCabin Europe 2026
主体： Smart Eye (STO:SEYE, OTC:SMTEF)
发布： 全球首个多模态车载AI Agent
展示： InCabin Europe 2026, Smart Eye展台#305, 巴塞罗那

核心创新

Smart Eye发布了世界首个融合人+车+环境上下文的多模态车载AI Agent。核心思路：通过DMS丰富的座舱感知数据为AI Agent提供完整上下文，降低agentic AI的计算成本，加速量产落地。

核心理念

“Automotive agents become economically viable when the value they create outweighs the cost and complexity of running them.”
— Martin Krantz, CEO & Founder, Smart Eye

关键洞察： 通用AI Agent需要大量算力推理用户意图。Smart Eye通过DMS提供丰富的上下文信息（注视点、情绪、身份、疲劳状态等），让Agent的输入更精准，减少推理计算量。

技术架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
┌─────────────────────────────────────────────────────────┐
│           Smart Eye 多模态AI Agent                      │
│                                                         │
│  ┌─────────────┐  ┌──────────┐  ┌─────────────────┐   │
│  │  人因感知    │  │  车辆数据 │  │  环境感知        │   │
│  │  (DMS/OMS)  │  │  (ADAS)  │  │  (Exterior)     │   │
│  │             │  │          │  │                  │   │
│  │ • 语音      │  │ • 速度   │  │ • 前方摄像头     │   │
│  │ • 注视点    │  │ • 转角   │  │ • 雷达           │   │
│  │ • 注意力    │  │ • 加速度 │  │ • GPS/地图       │   │
│  │ • 情绪      │  │ • ADAS   │  │ • 交通标志       │   │
│  │ • 疲劳状态   │  │   状态   │  │ • 天气           │   │
│  │ • 身份      │  │          │  │                  │   │
│  │ • 乘员占用   │  │          │  │                  │   │
│  └──────┬──────┘  └────┬─────┘  └────────┬────────┘   │
│         │              │                  │            │
│         └──────────────┼──────────────────┘            │
│                        │                               │
│         ┌──────────────┴──────────────────┐           │
│         │     多模态上下文融合              │           │
│         │  (Context Enrichment Layer)      │           │
│         └──────────────┬──────────────────┘           │
│                        │                               │
│         ┌──────────────┴──────────────────┐           │
│         │     AI Agent (基础模型)          │           │
│         │  • 意图理解                       │           │
│         │  • 任务规划                       │           │
│         │  • 执行决策                       │           │
│         └──────────────┬──────────────────┘           │
│                        │                               │
│         ┌──────────────┴──────────────────┐           │
│         │     执行层                        │           │
│         │  • 车辆功能API                   │           │
│         │  • 仪表盘Widget创建              │           │
│         │  • 语音回复                      │           │
│         │  • 外景指向 (gaze+外景融合)      │           │
│         └─────────────────────────────────┘            │
└─────────────────────────────────────────────────────────┘

关键能力详解

1. 注视+外景融合（看向哪里）

Smart Eye Agent最独特的能力：结合驾驶员注视方向与外部摄像头数据，理解驾驶员”在看什么”。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
"""
Smart Eye Agent: 注视+外景融合示例

当驾驶员说"那个是什么？"时，Agent需要知道"那个"指向什么
"""

import numpy as np

class GazeSceneFusion:
    """
    注视方向与外部场景融合
    
    通过驾驶员注视方向射线与外部摄像头场景的交点，
    确定驾驶员正在看的物体
    """
    
    def __init__(self):
        # 外部摄像头参数 (假设前向摄像头)
        self.camera_fov = 60  # 度
        self.camera_resolution = (1920, 1080)
        
    def fuse_gaze_with_scene(
        self,
        gaze_direction: np.ndarray,  # (yaw, pitch) 驾驶员注视方向
        scene_detections: list,      # 外景检测结果
        vehicle_state: dict          # 车辆状态
    ) -> dict:
        """
        融合注视方向和场景检测结果
        
        Args:
            gaze_direction: (yaw, pitch) 注视角度 (度)
            scene_detections: [{"class": "pedestrian", "bbox": [x,y,w,h], "confidence": 0.9}, ...]
            vehicle_state: {"speed": 50, "heading": 0, "gps": [lat, lon]}
        
        Returns:
            被注视的物体
        """
        gaze_yaw, gaze_pitch = gaze_direction
        
        # 将注视方向映射到外部摄像头坐标
        # 简化: 假设驾驶员正前方 = 摄像头中心
        camera_yaw = gaze_yaw  # 直接映射 (实际需标定)
        camera_pitch = -gaze_pitch  # 翻转 (实际需标定)
        
        # 映射到摄像头像素坐标
        x_pixel = int((camera_yaw / self.camera_fov + 0.5) * self.camera_resolution[0])
        y_pixel = int((camera_pitch / self.camera_fov + 0.5) * self.camera_resolution[1])
        
        # 找到最近的检测物体
        best_match = None
        best_distance = float('inf')
        
        for det in scene_detections:
            bx, by, bw, bh = det["bbox"]
            center_x = bx + bw / 2
            center_y = by + bh / 2
            dist = np.sqrt((center_x - x_pixel)**2 + (center_y - y_pixel)**2)
            
            if dist < best_distance:
                best_distance = dist
                best_match = det
        
        # 置信度与距离成反比
        confidence = max(0, 1 - best_distance / 200) * best_match["confidence"]
        
        return {
            "gazed_object": best_match["class"],
            "bbox": best_match["bbox"],
            "confidence": round(confidence, 2),
            "gaze_pixel": (x_pixel, y_pixel),
            "context": f"驾驶员正在看向{best_match['class']}"
        }


# 测试
if __name__ == "__main__":
    fusion = GazeSceneFusion()
    
    # 场景: 驾驶员看向右前方行人
    gaze = np.array([15.0, -5.0])  # yaw=15°(右), pitch=-5°(略上)
    
    detections = [
        {"class": "车辆", "bbox": [200, 300, 400, 250], "confidence": 0.95},
        {"class": "行人", "bbox": [1200, 400, 100, 200], "confidence": 0.88},
        {"class": "交通灯", "bbox": [800, 100, 80, 200], "confidence": 0.92},
    ]
    
    result = fusion.fuse_gaze_with_scene(gaze, detections, {"speed": 50})
    print(f"注视方向: yaw={gaze[0]}°, pitch={gaze[1]}°")
    print(f"注视物体: {result['gazed_object']}")
    print(f"置信度: {result['confidence']}")
    print(f"上下文: {result['context']}")
    
    print("\nAgent回复: '您看到的{0}位于右前方约30米处，{1}'".format(
        result['gazed_object'],
        "建议减速注意" if result['gazed_object'] == '行人' else "正常行驶"
    ))

2. 仪表盘Widget动态生成

Agent可根据实时DMS数据创建仪表盘Widget：

  • 疲劳Widget：显示PERCLOS趋势和建议
  • 情绪Widget：适应当前情绪的音乐推荐
  • 乘员Widget：后排乘客状态概览

3. 平台不可知性

维度 支持选项
基础模型 不同LLM/VLM可选
语音系统 多种ASR/TTS可选
部署位置 边缘 or 云端
数据来源 Smart Eye DMS + 第三方传感器

与Minieye BamBam对比

维度 Smart Eye Agent Minieye BamBam
核心焦点 多模态上下文融合 安全(DFR)+交互双支柱
DMS来源 Smart Eye自有 Minieye自有
ADAS融合 ✅ 外景+注视 ✅ DFR+ADAS控制
基础模型 不可知(多选) VLM (OpenClaw)
酒驾检测 ❌ 未提及 ✅ 视觉损伤检测
ADAS控制 ✅ 车辆功能执行 ✅ 分级干预(警告→接管)
独特能力 注视+外景指向 DFR功能准备度评估
计算优化 ✅ 上下文减少推理成本 ✅ DFR分级减少误触发
平台 不可知 OpenClaw
OEM客户 24 OEM, 380车型 40+ OEM
量产经验 10年+ DMS量产 10年+ 智驾量产

IMS开发启示

1. Agentic AI座舱落地路径

Smart Eye的核心洞察是：上下文丰富度决定Agent效率。

1
2
3
4
5
通用AI Agent:                     Smart Eye Agent:
  用户语音 → LLM推理 → 输出         用户语音 → DMS上下文 → LLM推理 → 输出
           ↑                                ↑               ↑
     需要大量推理                    输入更精准      减少推理量
     成本高                          成本低

2. DMS作为AI Agent的上下文提供者

DMS数据 Agent用途 价值
注视方向 指向消歧 “那个”→具体物体
情绪状态 回复语气调整 愤怒时更简洁
疲劳状态 交互主动化 疲劳时减少打扰
身份 个性化 喜好/历史
乘员状态 场景感知 后排有儿童→调内容

3. 开发架构建议

4. 经济性分析

方案 算力需求 延迟 成本 量产可行性
通用LLM Agent (无DMS) 高 (>100 TOPS) 慢 (2-5s) 高 ❌
Smart Eye Agent (DMS+ADAS) 中 (20-50 TOPS) 快 (0.5-1s) 中 ✅ 2027
Minieye BamBam (VLM) 中 中 (1-2s) 中 ✅ 2027
规则系统 (传统) 低 快 低 ✅ 已量产

参考

发布时间: 2026-09-24 06:00
分类: AI Agent | DMS | 多模态 | VLM | InCabin 2026 | 座舱交互