Murata × Smart Eye 摄像头-雷达传感器融合深度解读：60GHz mmWave + AI视觉的舱内感知新范式

Murata × Smart Eye 摄像头-雷达传感器融合深度解读

事件信息

项目	内容
事件	InCabin / AutoSens 2026 展示
日期	2026-09-15
合作方	Murata Manufacturing (硬件) + Smart Eye (AI软件)
技术	60GHz mmWave 雷达 + 摄像头融合
应用	DMS + OMS + CPD + 自适应约束 + 手势 + 生命体征
地点	Hoofddorp, Netherlands

1. 核心创新

1.1 互补融合哲学

传感器	优势	局限	互补点
摄像头	高分辨率视觉、姿态/行为/表情	黑暗失效、遮挡、隐私	雷达穿透补充
60GHz雷达	穿透黑暗/毯子/衣物、深度信息	低分辨率、无表情	摄像头视觉补充
融合	全天候全场景	—	替代重量垫/电容传感器

1.2 核心价值主张

MURATA_SMART_EYE_VALUE = {
    "hardware_consolidation": {
        "before": ["camera", "60GHz_radar", "weight_mat", "capacitive_sensor"],
        "after": ["camera", "60GHz_radar"],  # 替代重量垫和电容传感器
        "bom_reduction": "significant",
        "integration_simplification": True,
    },
    "software_scalability": {
        "current": ["DMS", "OMS", "CPD"],
        "future_via_software": ["gesture_recognition", "vital_sign_monitoring"],
        "hardware_unchanged": True,  # 硬件不变，软件扩展
    },
    "safety_enhancement": {
        "adaptive_restraint": "优化安全气囊部署",
        "seatbelt_control": "基于乘员姿态调整",
        "occupancy_classification": "减少误警告",
        "cpd_reliability": "穿透毯子检测儿童",
    },
}

2. 系统架构

graph TB
    subgraph "传感器层"
        A[内后视镜/顶控台摄像头<br/>视觉: 姿态/行为/表情]
        B[60GHz mmWave 雷达<br/>穿透: 深度/呼吸/心跳/遮挡]
    end
    
    subgraph "融合层（Smart Eye AI）"
        A --> C[视觉特征提取]
        B --> D[雷达特征提取]
        C & D --> E[多模态融合引擎]
    end
    
    subgraph "应用层"
        E --> F[DMS<br/>疲劳/分心/注意]
        E --> G[OMS<br/>乘员分类/姿态]
        E --> H[CPD<br/>儿童检测]
        E --> I[自适应约束<br/>气囊/安全带]
        E --> J[手势识别<br/>未来软件扩展]
        E --> K[生命体征<br/>呼吸/心率]
    end
    
    F & G & H & I & J & K --> L[统一舱内感知<br/>软件定义汽车]

3. 应用场景详解

3.1 DMS（驾驶员监测）

功能	摄像头贡献	雷达贡献	融合优势
疲劳检测	PERCLOS/眨眼	呼吸频率下降	双确认减少误报
分心检测	视线/头部姿态	身体微动作	雷达补充遮挡场景
微睡眠	闭眼1.5s	呼吸暂停	鲁棒性翻倍

3.2 OMS（乘员监测）

功能	摄像头	雷达	融合
乘员分类	体型估计	深度轮廓	精度提升
姿态检测	视觉骨骼	雷达距离	遮挡鲁棒
座椅占用	面部/身体	雷达反射	100%可靠

3.3 CPD（儿童检测）

场景	仅摄像头	仅雷达	融合
后座毯子下儿童	❌ 不可见	✅ 穿透	✅
黑暗中后排	❌ 不可见	✅ 不受影响	✅
衣物遮挡婴儿	⚠️ 部分可见	✅ 穿透	✅
空座椅误检	✅ 可见空座	✅ 无反射	✅ 双确认

3.4 自适应约束系统

ADAPTIVE_RESTRAINT_CONFIG = {
    "airbag_deployment": {
        "inputs": ["occupant_size", "occupant_position", "seat_distance"],
        "camera_provides": ["body_size_estimate", "head_position"],
        "radar_provides": ["precise_distance", "depth_profile"],
        "optimization": "调整气囊展开力度/时机",
    },
    "seatbelt_control": {
        "inputs": ["occupant_posture", "belt_position", "body_type"],
        "camera_provides": ["belt_position_visual", "posture"],
        "radar_provides": ["body_depth", "torso_angle"],
        "optimization": "调整预紧力和限力",
    },
    "occupancy_classification": {
        "purpose": "减少误警告",
        "examples": [
            "重型物品 vs 儿童（雷达深度+摄像头视觉）",
            "宠物 vs 婴儿（体型+呼吸频率）",
            "空座 vs 被毯子遮挡的儿童",
        ],
    },
}

4. 与竞品方案对比

方案	传感器	CPD	OMS	DMS	自适应约束	BOM成本
传统方案	摄像头+重量垫+电容	✅	⚠️	✅	❌	高
纯雷达方案	60GHz雷达	✅	⚠️	❌	⚠️	中
纯摄像头方案	RGB/IR摄像头	⚠️	✅	✅	⚠️	低
Murata×Smart Eye	摄像头+60GHz	✅	✅	✅	✅	中（减少传感器）

5. 60GHz mmWave 雷达技术细节

5.1 Murata 的微型化能力

参数	数值
频率	60 GHz
频段	ISM频段（免许可）
尺寸	Murata微型化封装
集成	灵活RF器件集成
定位	车顶/内后视镜

5.2 60GHz 雷达在舱内的优势

特性	说明
穿透毯子	波长5mm可穿透织物/毛毯
精确定位	cm级距离分辨率
呼吸检测	胸壁微位移（mm级）
心率检测	心脏机械振动
隐私保护	不采集影像
全光照条件	黑暗/强光均可用

6. 软件定义汽车架构

6.1 硬件不变、软件扩展

graph LR
    subgraph "Phase 1 (当前)"
        A1[摄像头+60GHz雷达硬件]
        A1 --> B1[DMS]
        A1 --> C1[OMS]
        A1 --> D1[CPD]
    end
    
    subgraph "Phase 2 (软件升级)"
        A2[同一硬件]
        A2 --> B2[手势识别]
        A2 --> C2[生命体征]
    end
    
    subgraph "Phase 3 (未来)"
        A3[同一硬件]
        A3 --> B3[自适应约束]
        A3 --> C3[情绪检测]
        A3 --> D3[多乘员追踪]
    end

6.2 Smart Eye AI 软件能力

功能	技术基础
视觉特征提取	多年DMS/OMS算法积累
雷达信号处理	60GHz FMCW处理
多模态融合	深度学习融合引擎
实时推理	边缘NPU优化

7. IMS 开发启示

7.1 架构路线建议

IMS_FUSION_ARCHITECTURE = {
    "phase_1_minimum": {
        "sensors": ["1x IR camera (DMS)", "1x 60GHz radar (CPD/OMS)"],
        "placement": "内后视镜/顶控台",
        "functions": ["疲劳检测", "分心检测", "CPD", "乘员分类"],
        "bom_target": "比独立传感器方案降低30%+",
    },
    "phase_2_expansion": {
        "sensors": "same hardware",
        "new_functions_via_software": ["手势识别", "呼吸率", "心率"],
        "timeline": "Phase 1 + 12-18个月",
    },
    "phase_3_advanced": {
        "sensors": "same hardware + possible V2X",
        "new_functions": ["自适应约束", "情绪检测", "多乘员追踪"],
        "timeline": "Phase 1 + 24-36个月",
    },
}

7.2 与现有方案的融合建议

当前IMS模块	Murata×Smart Eye方案	迁移建议
独立红外DMS	摄像头模块复用	直接替换
无CPD	60GHz雷达新增	新增雷达模块
重量垫	雷达替代	移除重量垫
电容传感器	雷达替代	移除电容
独立OMS摄像头	融合平台	集成到统一平台

7.3 Euro NCAP 2026 映射

Euro NCAP	Murata×Smart Eye支持	说明
DMS疲劳/分心	✅ 摄像头主导	雷达补充
CPD儿童检测	✅ 雷达主导	穿透毯子
OOP异常姿态	✅ 融合	摄像头姿态+雷达深度
乘员分类	✅ 融合	体型+深度
自适应约束	✅ 融合	精确位置+姿态
安全带误用	⚠️ 可扩展	摄像头视觉检测

8. 量产时间线评估

时间	里程碑	说明
2026-09	InCabin/AutoSens演示	概念验证
2026-Q4	OEM/Tier1合作启动	定点开发
2027-Q3~Q4	首批量产搭载	预估
2028+	软件扩展功能	手势/生命体征

9. 局限性

局限	影响	缓解
演示≠量产	需OEM定点	密切跟踪
60GHz雷达成本	比摄像头贵	量产降价
融合算法复杂度	NPU算力需求	持续优化
摄像头隐私	部分市场担忧	Smart Eye隐私方案
雷达干扰	多车场景	频率管理

10. 结论

Murata × Smart Eye 融合方案的核心贡献：

互补而非堆叠：摄像头看视觉细节，雷达穿透遮挡/黑暗，真正互补
硬件替代：一套摄像头+雷达替代重量垫/电容/独立OMS摄像头，降低BOM
软件可扩展：同一硬件平台通过软件升级支持手势/生命体征等新功能
自适应约束基础：精确乘员位置+姿态 → 优化安全气囊/安全带
行业标准方向：摄像头+60GHz雷达成为舱内感知标配趋势

IMS启示： 摄像头+60GHz雷达融合是舱内感知的终局方案。建议IMS停止独立传感器的堆叠路线，转向”摄像头+雷达”双传感器融合平台。Phase 1实现DMS+OMS+CPD基本功能，Phase 2通过软件扩展手势和生命体征，Phase 3实现自适应约束。

参考文献

Murata × Smart Eye Joint Release: 2026-09-15, Hoofddorp
Smart Eye AI Interior Sensing: smarteye.se
Murata 60GHz Radar: murata.com
InCabin / AutoSens 2026: incabin.auto
Euro NCAP 2026 OMS Protocol (v1.0)

传感器融合

#DMS #传感器融合 #CPD #OMS #Smart Eye #60GHz #Murata #摄像头-雷达融合 #AutoSens #InCabin

Murata × Smart Eye 摄像头-雷达传感器融合深度解读：60GHz mmWave + AI视觉的舱内感知新范式

https://dapalm.com/2026/09/16/2026-09-16-murata-smart-eye-camera-radar-fusion-60ghz-cabin-ims/

作者

Mars

发布于

2026年9月16日

许可协议

Wi-Fringe 深度解读：WiFi CSI 零样本手势识别——文本语义驱动的无设备舱内感知上一篇

从"看脸"到"读心"：2026年驾驶员生理感知DMS量产趋势——小鹏专利+方向盘sEMG+座椅传感下一篇