小鹏多模态DMS专利:接触+非接触融合感知——从”看脸”到”读心”的安全闭环
来源:小鹏汽车专利公开 · 2026年9月
核心方向:接触式生理传感器 · 安全带/方向盘/座椅集成 · 多模态DMS融合
专利信息
| 项目 |
内容 |
| 专利方 |
小鹏汽车 (XPeng) |
| 公开时间 |
2026年9月 |
| 核心方向 |
接触+非接触互补的DMS感知闭环 |
| 接触位置 |
安全带、座椅扶手、方向盘 |
| 非接触 |
DMS摄像头(面部特征) |
| 核心创新 |
将生理传感器集成到自然接触位置 |
核心价值
从”看脸”到”读心”
传统DMS只用摄像头”看脸”:
小鹏专利的突破:在驾驶员自然接触的位置(安全带、方向盘、座椅扶手)集成生理传感器,实现”读心”:
| 维度 |
传统DMS |
小鹏方案 |
信息增量 |
| 疲劳 |
闭眼频率 |
+心率/HRV |
自主神经疲劳指标 |
| 分心 |
视线偏离 |
+皮肤电导(GSR) |
情绪/压力指标 |
| 酒驾 |
无法检测 |
+心率变异性 |
酒精损伤估计 |
| 健康 |
无法监测 |
+体温/血氧 |
驾驶员健康状态 |
三大接触位置
graph TB
subgraph "接触式感知层"
A[安全带<br/>胸口位置] --> A1[心率ECG<br/>呼吸率<br/>体温]
B[方向盘<br/>手部位置] --> B1[皮肤电导GSR<br/>脉搏PPG<br/>手部温度]
C[座椅扶手<br/>手臂位置] --> C1[血氧SpO2<br/>脉搏PPG<br/>体温]
end
subgraph "非接触式感知层"
D[DMS摄像头] --> D1[闭眼PERCLOS<br/>视线落点<br/>头部姿态<br/>面部表情]
end
A1 --> E[融合层]
B1 --> E
C1 --> E
D1 --> E
E --> F[综合状态判断]
传感器布局详解
1. 安全带集成传感器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
| class SeatbeltSensorArray: """ 安全带集成传感器阵列 安装位置:安全带胸口段 接触面积:约5cm × 8cm 接触压力:安全带自然贴合胸口 可检测: 1. 心率(ECG/电容耦合) 2. 呼吸率(胸廓膨胀) 3. 体温 4. 呼吸深度 """ SENSORS = { 'ecg': { 'type': '电容耦合ECG', 'position': '安全带内侧', 'sampling_rate': '250Hz', 'accuracy': '±2bpm', 'power': '<5mW' }, 'respiration': { 'type': '张力传感器', 'position': '安全带织带内', 'sampling_rate': '50Hz', 'accuracy': '±1brpm', 'power': '<2mW' }, 'temperature': { 'type': 'NTC热敏电阻', 'position': '安全带内侧', 'sampling_rate': '1Hz', 'accuracy': '±0.3°C', 'power': '<1mW' } }
|
2. 方向盘集成传感器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
| class SteeringWheelSensorArray: """ 方向盘集成传感器阵列 安装位置:方向盘3点和9点位置 接触:驾驶员双手自然握持 可检测: 1. 皮肤电导(GSR) → 压力/情绪 2. 脉搏(PPG) → 心率/HRV 3. 手部温度 → 血液循环 4. 握持力 → 紧张度 挑战: - 驾驶员可能单手或脱手 - 需要DMS摄像头补充脱手检测 """ SENSORS = { 'gsr': { 'type': '皮肤电导电极', 'position': '方向盘9点/3点', 'sampling_rate': '10Hz', 'accuracy': '±0.5μS', 'power': '<3mW' }, 'ppg': { 'type': '光电脉搏传感器', 'position': '方向盘9点/3点', 'sampling_rate': '100Hz', 'accuracy': '±2bpm', 'power': '<10mW' }, 'grip_force': { 'type': '薄膜压力传感器', 'position': '方向盘圈身', 'sampling_rate': '50Hz', 'accuracy': '±5N', 'power': '<2mW' }, 'temperature': { 'type': '红外温度传感器', 'position': '方向盘9点/3点', 'sampling_rate': '1Hz', 'accuracy': '±0.5°C', 'power': '<5mW' } }
|
3. 座椅扶手集成传感器
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
| class SeatArmrestSensorArray: """ 座椅扶手集成传感器阵列 安装位置:中央扶手/门板扶手 接触:驾驶员前臂自然放置 可检测: 1. 血氧(SpO2) 2. 脉搏(PPG) 3. 体温 """ SENSORS = { 'spo2': { 'type': '红光+红外双波长PPG', 'position': '扶手上表面', 'sampling_rate': '100Hz', 'accuracy': '±2%', 'power': '<15mW' }, 'ppg': { 'type': '绿光PPG', 'position': '扶手上表面', 'sampling_rate': '100Hz', 'accuracy': '±3bpm', 'power': '<10mW' } }
|
多模态融合架构
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86
| class XpengMultiModalDMS: """ 小鹏多模态DMS融合系统 接触式(安全带+方向盘+扶手)+ 非接触式(摄像头) 融合策略: 1. 接触式提供生理指标(心率/HRV/GSR/SpO2) 2. 非接触式提供行为指标(PERCLOS/视线/姿态) 3. 互补:脱手时摄像头补充,闭眼时生理补充 """ def __init__(self): self.contact_sensors = { 'seatbelt': SeatbeltSensorArray(), 'steering_wheel': SteeringWheelSensorArray(), 'armrest': SeatArmrestSensorArray() } self.camera_dms = CameraDMS() def assess_driver_state(self, all_data: dict) -> dict: """ 综合评估驾驶员状态 Args: all_data: { 'ecg': 心电数据, 'respiration': 呼吸数据, 'gsr': 皮肤电导, 'ppg': 脉搏, 'spo2': 血氧, 'camera': 摄像头数据 } Returns: 综合状态评估 """ hrv = self._compute_hrv(all_data['ecg']) heart_rate = self._compute_hr(all_data['ppg']) perclos = self.camera_dms.compute_perclos() gaze_offset = self.camera_dms.get_gaze_offset() stress_level = self._assess_stress(all_data['gsr'], hrv) health_score = self._assess_health( heart_rate, hrv, all_data['spo2'] ) fatigue_score = self._fuse_fatigue( perclos, hrv, heart_rate, respiration ) distraction_score = self._fuse_distraction( gaze_offset, steering_wheel_grip, head_pose ) return { 'fatigue': fatigue_score, 'distraction': distraction_score, 'stress': stress_level, 'health': health_score, 'heart_rate': heart_rate, 'hrv_rmssd': hrv, 'spo2': all_data['spo2'], 'confidence': self._compute_confidence(all_data) } def _fuse_fatigue(self, perclos, hrv, hr, resp): """ 融合疲劳评分 权重分配: - PERCLOS (摄像头): 35% → 行为疲劳 - HRV (接触式): 30% → 自主神经疲劳 - 心率变化: 15% → 生理负荷 - 呼吸变化: 20% → 呼吸频率下降→疲劳 """ return (0.35 * perclos + 0.30 * (1 - hrv/50) + 0.15 * max(0, (hr - 60) / 60) + 0.20 * max(0, (16 - resp) / 16)) * 100
|
与传统DMS对比
| 指标 |
传统摄像头DMS |
小鹏接触+非接触 |
优势 |
| 疲劳检测 |
PERCLOS |
+HRV+心率+呼吸 |
多维交叉验证 |
| 分心检测 |
视线偏离 |
+握力变化 |
脱手=分心 |
| 酒驾估计 |
❌ 不可检测 |
HRV异常模式 |
辅助酒精检测 |
| 压力检测 |
❌ 面部表情 |
+GSR皮肤电导 |
实时压力评估 |
| 健康监测 |
❌ |
+SpO2+体温+心率 |
持续健康追踪 |
| 脱手补偿 |
视线可用 |
摄像头补充 |
互补冗余 |
| 闭眼补偿 |
疲劳可检测 |
生理补充 |
互补冗余 |
| Euro NCAP |
部分满足 |
全面满足 |
增加得分 |
Euro NCAP 2026对应
| ENCAP功能 |
接触式贡献 |
非接触式贡献 |
融合效果 |
| F-01 PERCLOS |
HRV辅助 |
主检测 |
更早预警 |
| D-02手机使用 |
GSR情绪变化 |
主检测 |
确认+情绪 |
| 酒驾检测 |
HRV+体温 |
面部红润 |
辅助估计 |
| CPD儿童 |
N/A |
N/A |
需雷达 |
| OOP姿态 |
方向盘握力 |
摄像头姿态 |
姿态+紧张度 |
部署挑战
| 挑战 |
技术方案 |
难度 |
| 安全带ECG噪声 |
电容耦合+自适应滤波 |
中 |
| 方向盘脱手 |
摄像头补充+电容检测 |
低 |
| 个体差异 |
个性化基线校准 |
中 |
| 座椅位置变化 |
自适应接触面积 |
中 |
| 成本 |
传感器成本<$10总增 |
低 |
| 法规 |
接触式医疗级精度 |
高 |
测试代码
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
| def test_multi_modal_fusion(): """测试多模态融合""" dms = XpengMultiModalDMS() all_data = { 'ecg': np.random.randn(2500) * 0.5, 'respiration': np.sin(np.linspace(0, 6*np.pi, 500)), 'gsr': 2.5 + np.random.randn(100) * 0.3, 'ppg': np.sin(np.linspace(0, 50*np.pi, 1000)), 'spo2': 97.5, 'camera': {'perclos': 15.0, 'gaze_offset': 0.3} } result = dms.assess_driver_state(all_data) assert 0 <= result['fatigue'] <= 100 assert 0 <= result['distraction'] <= 100 print(f"✓ 疲劳: {result['fatigue']:.1f}, " f"分心: {result['distraction']:.1f}")
if __name__ == "__main__": test_multi_modal_fusion() print("✓ 多模态DMS测试通过")
|
总结
小鹏DMS专利的核心价值:
- 接触+非接触互补:摄像头看不到的(心率/HRV/GSR),用接触式补
- 自然接触位置:安全带/方向盘/扶手,无需用户额外配合
- 多维状态评估:疲劳+分心+压力+健康,超越传统单一疲劳检测
- Euro NCAP加分:多模态融合增加安全评分
对IMS的启示:
- 在IMS座椅中预埋生理传感器(安全带+扶手)
- 与DMS摄像头做决策级融合
- 优先部署:安全带ECG(最稳定接触)+ 摄像头PERCLOS
- 长期:加入方向盘GSR(压力检测)+ SpO2(健康监测)