Murata × Smart Eye 摄像头-雷达传感器融合深度解读 事件信息
项目
内容
事件
InCabin / AutoSens 2026 展示
日期
2026-09-15
合作方
Murata Manufacturing (硬件) + Smart Eye (AI软件)
技术
60GHz mmWave 雷达 + 摄像头融合
应用
DMS + OMS + CPD + 自适应约束 + 手势 + 生命体征
地点
Hoofddorp, Netherlands
1. 核心创新 1.1 互补融合哲学
传感器
优势
局限
互补点
摄像头
高分辨率视觉、姿态/行为/表情
黑暗失效、遮挡、隐私
雷达穿透补充
60GHz雷达
穿透黑暗/毯子/衣物、深度信息
低分辨率、无表情
摄像头视觉补充
融合
全天候全场景
—
替代重量垫/电容传感器
1.2 核心价值主张 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 MURATA_SMART_EYE_VALUE = { "hardware_consolidation" : { "before" : ["camera" , "60GHz_radar" , "weight_mat" , "capacitive_sensor" ], "after" : ["camera" , "60GHz_radar" ], "bom_reduction" : "significant" , "integration_simplification" : True , }, "software_scalability" : { "current" : ["DMS" , "OMS" , "CPD" ], "future_via_software" : ["gesture_recognition" , "vital_sign_monitoring" ], "hardware_unchanged" : True , }, "safety_enhancement" : { "adaptive_restraint" : "优化安全气囊部署" , "seatbelt_control" : "基于乘员姿态调整" , "occupancy_classification" : "减少误警告" , "cpd_reliability" : "穿透毯子检测儿童" , }, }
2. 系统架构
graph TB
subgraph "传感器层"
A[内后视镜/顶控台摄像头<br/>视觉: 姿态/行为/表情]
B[60GHz mmWave 雷达<br/>穿透: 深度/呼吸/心跳/遮挡]
end
subgraph "融合层(Smart Eye AI)"
A --> C[视觉特征提取]
B --> D[雷达特征提取]
C & D --> E[多模态融合引擎]
end
subgraph "应用层"
E --> F[DMS<br/>疲劳/分心/注意]
E --> G[OMS<br/>乘员分类/姿态]
E --> H[CPD<br/>儿童检测]
E --> I[自适应约束<br/>气囊/安全带]
E --> J[手势识别<br/>未来软件扩展]
E --> K[生命体征<br/>呼吸/心率]
end
F & G & H & I & J & K --> L[统一舱内感知<br/>软件定义汽车]
3. 应用场景详解 3.1 DMS(驾驶员监测)
功能
摄像头贡献
雷达贡献
融合优势
疲劳检测
PERCLOS/眨眼
呼吸频率下降
双确认减少误报
分心检测
视线/头部姿态
身体微动作
雷达补充遮挡场景
微睡眠
闭眼1.5s
呼吸暂停
鲁棒性翻倍
3.2 OMS(乘员监测)
功能
摄像头
雷达
融合
乘员分类
体型估计
深度轮廓
精度提升
姿态检测
视觉骨骼
雷达距离
遮挡鲁棒
座椅占用
面部/身体
雷达反射
100%可靠
3.3 CPD(儿童检测)
场景
仅摄像头
仅雷达
融合
后座毯子下儿童
❌ 不可见
✅ 穿透
✅
黑暗中后排
❌ 不可见
✅ 不受影响
✅
衣物遮挡婴儿
⚠️ 部分可见
✅ 穿透
✅
空座椅误检
✅ 可见空座
✅ 无反射
✅ 双确认
3.4 自适应约束系统 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 ADAPTIVE_RESTRAINT_CONFIG = { "airbag_deployment" : { "inputs" : ["occupant_size" , "occupant_position" , "seat_distance" ], "camera_provides" : ["body_size_estimate" , "head_position" ], "radar_provides" : ["precise_distance" , "depth_profile" ], "optimization" : "调整气囊展开力度/时机" , }, "seatbelt_control" : { "inputs" : ["occupant_posture" , "belt_position" , "body_type" ], "camera_provides" : ["belt_position_visual" , "posture" ], "radar_provides" : ["body_depth" , "torso_angle" ], "optimization" : "调整预紧力和限力" , }, "occupancy_classification" : { "purpose" : "减少误警告" , "examples" : [ "重型物品 vs 儿童(雷达深度+摄像头视觉)" , "宠物 vs 婴儿(体型+呼吸频率)" , "空座 vs 被毯子遮挡的儿童" , ], }, }
4. 与竞品方案对比
方案
传感器
CPD
OMS
DMS
自适应约束
BOM成本
传统方案
摄像头+重量垫+电容
✅
⚠️
✅
❌
高
纯雷达方案
60GHz雷达
✅
⚠️
❌
⚠️
中
纯摄像头方案
RGB/IR摄像头
⚠️
✅
✅
⚠️
低
Murata×Smart Eye
摄像头+60GHz
✅
✅
✅
✅
中(减少传感器)
5. 60GHz mmWave 雷达技术细节 5.1 Murata 的微型化能力
参数
数值
频率
60 GHz
频段
ISM频段(免许可)
尺寸
Murata微型化封装
集成
灵活RF器件集成
定位
车顶/内后视镜
5.2 60GHz 雷达在舱内的优势
特性
说明
穿透毯子
波长5mm可穿透织物/毛毯
精确定位
cm级距离分辨率
呼吸检测
胸壁微位移(mm级)
心率检测
心脏机械振动
隐私保护
不采集影像
全光照条件
黑暗/强光均可用
6. 软件定义汽车架构 6.1 硬件不变、软件扩展
graph LR
subgraph "Phase 1 (当前)"
A1[摄像头+60GHz雷达硬件]
A1 --> B1[DMS]
A1 --> C1[OMS]
A1 --> D1[CPD]
end
subgraph "Phase 2 (软件升级)"
A2[同一硬件]
A2 --> B2[手势识别]
A2 --> C2[生命体征]
end
subgraph "Phase 3 (未来)"
A3[同一硬件]
A3 --> B3[自适应约束]
A3 --> C3[情绪检测]
A3 --> D3[多乘员追踪]
end
6.2 Smart Eye AI 软件能力
功能
技术基础
视觉特征提取
多年DMS/OMS算法积累
雷达信号处理
60GHz FMCW处理
多模态融合
深度学习融合引擎
实时推理
边缘NPU优化
7. IMS 开发启示 7.1 架构路线建议 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 IMS_FUSION_ARCHITECTURE = { "phase_1_minimum" : { "sensors" : ["1x IR camera (DMS)" , "1x 60GHz radar (CPD/OMS)" ], "placement" : "内后视镜/顶控台" , "functions" : ["疲劳检测" , "分心检测" , "CPD" , "乘员分类" ], "bom_target" : "比独立传感器方案降低30%+" , }, "phase_2_expansion" : { "sensors" : "same hardware" , "new_functions_via_software" : ["手势识别" , "呼吸率" , "心率" ], "timeline" : "Phase 1 + 12-18个月" , }, "phase_3_advanced" : { "sensors" : "same hardware + possible V2X" , "new_functions" : ["自适应约束" , "情绪检测" , "多乘员追踪" ], "timeline" : "Phase 1 + 24-36个月" , }, }
7.2 与现有方案的融合建议
当前IMS模块
Murata×Smart Eye方案
迁移建议
独立红外DMS
摄像头模块复用
直接替换
无CPD
60GHz雷达新增
新增雷达模块
重量垫
雷达替代
移除重量垫
电容传感器
雷达替代
移除电容
独立OMS摄像头
融合平台
集成到统一平台
7.3 Euro NCAP 2026 映射
Euro NCAP
Murata×Smart Eye支持
说明
DMS疲劳/分心
✅ 摄像头主导
雷达补充
CPD儿童检测
✅ 雷达主导
穿透毯子
OOP异常姿态
✅ 融合
摄像头姿态+雷达深度
乘员分类
✅ 融合
体型+深度
自适应约束
✅ 融合
精确位置+姿态
安全带误用
⚠️ 可扩展
摄像头视觉检测
8. 量产时间线评估
时间
里程碑
说明
2026-09
InCabin/AutoSens演示
概念验证
2026-Q4
OEM/Tier1合作启动
定点开发
2027-Q3~Q4
首批量产搭载
预估
2028+
软件扩展功能
手势/生命体征
9. 局限性
局限
影响
缓解
演示≠量产
需OEM定点
密切跟踪
60GHz雷达成本
比摄像头贵
量产降价
融合算法复杂度
NPU算力需求
持续优化
摄像头隐私
部分市场担忧
Smart Eye隐私方案
雷达干扰
多车场景
频率管理
10. 结论 Murata × Smart Eye 融合方案的核心贡献:
互补而非堆叠 :摄像头看视觉细节,雷达穿透遮挡/黑暗,真正互补
硬件替代 :一套摄像头+雷达替代重量垫/电容/独立OMS摄像头,降低BOM
软件可扩展 :同一硬件平台通过软件升级支持手势/生命体征等新功能
自适应约束基础 :精确乘员位置+姿态 → 优化安全气囊/安全带
行业标准方向 :摄像头+60GHz雷达成为舱内感知标配趋势
IMS启示: 摄像头+60GHz雷达融合是舱内感知的终局方案。建议IMS停止独立传感器的堆叠路线,转向”摄像头+雷达”双传感器融合平台。Phase 1实现DMS+OMS+CPD基本功能,Phase 2通过软件扩展手势和生命体征,Phase 3实现自适应约束。
参考文献
Murata × Smart Eye Joint Release: 2026-09-15, Hoofddorp
Smart Eye AI Interior Sensing: smarteye.se
Murata 60GHz Radar: murata.com
InCabin / AutoSens 2026: incabin.auto
Euro NCAP 2026 OMS Protocol (v1.0)