生物传感与 ADAS 融合:三菱电机的从 DMS 到座舱健康感知路线图
来源: Autobody News + AutoSens USA 2026(底特律,6月)
受访者: Kelly Rickert,三菱电机汽车美国(MEAA)感知与数据解决方案总监
核心议题: 生物传感技术从驾驶员监测扩展到全乘员感知
1. 行业新阶段:从 DMS 到 Biosensing
1.1 三阶段演进
三菱电机明确划分了座舱感知的三个阶段:
| 阶段 |
时间 |
能力 |
传感器 |
| DMS 1.0 |
2020-2024 |
疲劳/分心警告 |
IR 摄像头 |
| DMS+OMS 2.0 |
2024-2027 |
+ 乘员状态 + 健康指标 |
+ 生物传感器 |
| Biosensing 3.0 |
2027+ |
+ 全座舱生理监测 + ADAS 协同 |
+ 多模态融合 |
1.2 Biosensing vs Biometrics 的区别
三菱电机明确定义:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
| class BiosensingVsBiometrics: """三菱电机的定义区分""" biometrics = { 'purpose': '身份识别/认证', 'examples': ['指纹', '声纹', '面部识别'], 'output': '是谁', 'privacy_level': '高(生物特征数据)' } biosensing = { 'purpose': '生理状态监测', 'examples': ['心率', 'HRV', '呼吸', '压力', '血氧'], 'output': '状态如何', 'privacy_level': '中(非身份信息)' }
|
2. 三菱电机的 Biosensing 能力
2.1 可输出信号
| 信号 |
来源 |
精度 |
应用场景 |
| 心率 |
rPPG/PPG |
±2-5 bpm |
疲劳/压力 |
| 心率变异性 (HRV) |
ECG/rPPG |
RMSSD |
压力/自主神经 |
| 呼吸率 |
rPPG/雷达 |
±1-2 brpm |
疲劳/健康 |
| 压力指数 |
多模态融合 |
1-10 评分 |
情绪状态 |
| 血压相关信号 |
PPT/ECG |
趋势性 |
心血管健康 |
| 异常状态指标 |
AI 推理 |
0-1 概率 |
突发疾病 |
2.2 系统架构
graph TB
subgraph "传感器层"
A1[IR 摄像头<br/>DMS 主力]
A2[rPPG 摄像头<br/>心率/呼吸]
A3[ECG 电极<br/>方向盘]
A4[PPG 光传感器<br/>扶手/方向盘]
end
subgraph "信号处理层"
B1[面部 landmark 提取]
B2[生理信号提取]
B3[运动补偿]
B4[信号质量评估]
end
subgraph "AI 推理层"
C1[疲劳指数]
C2[分心指数]
C3[压力指数]
C4[异常状态指标]
end
subgraph "OEM 决策层"
D1[警告策略]
D2[ADAS 调整]
D3[安全停车]
D4[紧急呼叫]
end
A1 --> B1
A2 --> B2
A3 --> B2
A4 --> B2
B1 --> C1
B1 --> C2
B2 --> C3
B2 --> C4
B3 --> B2
B4 --> B2
C1 --> D1
C2 --> D1
C3 --> D2
C4 --> D3
D3 --> D4
2.3 三菱电机的关键定位
“我们可以输出心率,或一个压力评分,但最终是 OEM 决定如何使用这些信息。”
——Kelly Rickert, MEAA
| 角色 |
三菱电机提供 |
OEM 决定 |
| 信号 |
生理指标和评分 |
警告阈值 |
| 上下文 |
驾驶状态分析 |
干预策略 |
| 异常检测 |
概率性指标 |
车辆响应(警告/ADAS/停车) |
| 数据 |
传感器数据流 |
数据存储和分享策略 |
3. ADAS + Biosensing 融合趋势
3.1 内外感知同步
三菱电机指出了当前行业的核心问题:
1 2 3 4 5 6 7 8 9
| 当前状态: 外部感知(ADAS):摄像头 + 雷达 + 激光雷达 → 路况 内部感知(DMS):IR 摄像头 → 驾驶员状态 问题:两个系统独立运行,不互相参考
未来趋势: 外部+内部融合 → 全上下文感知 例:前方弯道 + 驾驶员分心 → 提前介入 例:前方拥堵 + 驾驶员压力高 → 自动空调+音乐
|
3.2 碰撞维修影响
三菱电机特别强调了碰撞维修行业的影响:
| 问题 |
影响 |
| DMS 摄像头校准 |
风挡更换后需校准 DMS 摄像头 |
| OMS 传感器检查 |
座椅更换后需检查乘员传感器 |
| 生物传感器验证 |
方向盘更换后需验证 ECG 电极 |
| 系统标定 |
安全件更换后需重新标定 |
4. 座舱图像质量测试标准
4.1 Image Engineering 的测试框架
Edge AI and Vision Alliance 发布了座舱摄像头图像质量测试指南:
| 测试项 |
ISO 标准 |
对 DMS 的影响 |
| 分辨率 (SFR) |
ISO 12233 |
每只眼睛需要足够像素 |
| 畸变 |
ISO 17850 |
边缘区域像素不足 |
| 动态范围 (OECF) |
ISO 14524 |
低光环境性能 |
| 噪声 (SNR) |
ISO 15739 |
低光信噪比 |
| 色彩准确度 |
ISO 14524 |
rPPG 精度 |
4.2 关键指标
| 指标 |
要求 |
说明 |
| 每只眼睛像素数 |
≥15 px |
满足 landmark 检测 |
| 帧率 |
≥30 fps |
眨眼检测 |
| 动态范围 |
≥60 dB |
白天到夜间 |
| NIR 波长 |
940 nm |
不干扰驾驶员 |
| 视场角 (FOV) |
≥60° |
覆盖驾驶员区域 |
5. IMS 开发启示
5.1 从 DMS 到 Biosensing 的技术路线
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
| class IMSBiosensingRoadmap: """IMS 从 DMS 到 Biosensing 的技术路线图""" phases = { 'phase_1_2026': { 'name': 'DMS 增强版', 'sensors': ['IR 摄像头', 'IR LED'], 'capabilities': ['疲劳检测', '分心检测', '视线追踪'], 'output': '警告/提示' }, 'phase_2_2027': { 'name': 'DMS+ 健康版', 'sensors': ['IR 摄像头', 'rPPG 摄像头', '方向盘 ECG'], 'capabilities': ['+心率', '+HRV', '+压力指数'], 'output': '警告 + ADAS 协同' }, 'phase_3_2028': { 'name': '全座舱 Biosensing', 'sensors': ['+安全带 PCG', '+PPG', '+UWB mmWave'], 'capabilities': ['+心律失常', '+呼吸异常', '+全乘员监测'], 'output': '警告 + ADAS + 紧急服务 + 健康趋势' } }
|
5.2 建议的传感器优先级
| 优先级 |
传感器 |
增量成本 |
增量能力 |
| 🔴 P0 |
IR 摄像头(已有) |
$0 |
疲劳+分心 |
| 🔴 P0 |
rPPG(同一摄像头) |
$0 |
+心率+呼吸 |
| 🟡 P1 |
方向盘 ECG |
$3-5 |
+HRV+心律 |
| 🟡 P1 |
方向盘 EDA |
$2-3 |
+压力 |
| 🟢 P2 |
安全带 PCG |
$2-4 |
+心音 |
| 🟢 P2 |
座椅 IMU |
$5-8 |
+体态+微动 |
| 🟢 P3 |
UWB + 60GHz |
$15-25 |
+CPD+OOP |
参考来源