Driver-Net多摄像头融合-95.8%准确率评估驾驶员接管准备度

前言

随着L3自动驾驶的逐步落地，驾驶员接管准备度（Take-Over Readiness）评估成为关键安全课题。利兹大学研究团队提出Driver-Net框架，通过多摄像头融合技术实现高达95.8%的分类准确率。

一、研究背景

1.1 L3自动驾驶的接管挑战

根据SAE自动化分级：

• L2车辆：驾驶员必须持续监控环境，保持完全控制责任
• L3车辆：允许驾驶员脱离驾驶任务，但需在系统请求时及时接管

核心问题：当AV达到运营设计域（ODD）边界或遇到复杂场景时，如何确保驾驶员能够安全、及时地接管？

1.2 法规驱动

法规	要求	时间节点
Euro NCAP	DMS作为五星评分必备	2020年起
EU GSR DDAW	驾驶员困倦和注意力警告	2024.07强制
EU GSR ADDW	高级驾驶员分心警告	2026.07强制

---

二、Driver-Net架构设计

2.1 多摄像头设置

Driver-Net采用三摄像头同步采集：

┌─────────────────────────────────────┐
│          驾驶员座舱                  │
│  ┌─────┐                             │
│  │Cam1 │ ← 头部摄像头                │
│  └─────┘                             │
│      ┌─────┐                         │
│      │Cam2 │ ← 手部摄像头            │
│      └─────┘                         │
│  ┌─────┐                             │
│  │Cam3 │ ← 身体姿态摄像头            │
│  └─────┘                             │
└─────────────────────────────────────┘

2.2 双路径架构

输入帧 → Context Block → 空间特征
                    ↘
                      Cross-Modal Fusion → 分类输出
                    ↗
输入帧 → Feature Block → 细粒度特征

核心组件：

1. Context Block：捕获全局上下文信息
2. Feature Block：提取细粒度视觉特征
3. Cross-Modal Fusion：跨模态特征融合策略

2.3 与传统DMS对比

方法	输入模态	局限性
传统DMS	头部姿态/眼动	单模态，信息有限
Driver-Net	头+手+身体姿态	多模态融合，信息丰富

---

三、实验验证

3.1 数据采集

平台：利兹大学驾驶模拟器（Jaguar真车）

场景设计：

• 模拟L3自动驾驶环境
• 设计关键接管请求（TOR）场景
• 多样化驾驶员群体

3.2 性能指标

指标	结果
驾驶员准备度分类准确率	95.8%
实时性	非侵入式，实时处理
鲁棒性	多样化驾驶员验证

3.3 关键发现

1. 多视角融合显著提升准确率

   • 单摄像头方法受限于视角遮挡
   • 三摄像头融合提供互补信息

2. 时空特征建模的重要性

   • 单帧分析无法捕捉动态行为
   • 时序建模揭示接管准备趋势

3. 手部行为的关键指示作用

   • 手部位置与接管准备度强相关
   • 身体姿态提供辅助信息

---

四、IMS开发启示

4.1 技术路线建议

阶段	方案	适用场景
短期	单摄像头+规则引擎	成本敏感车型
中期	单摄像头+深度学习	主流车型
长期	多摄像头融合	高端/L3车型

4.2 部署优先级

1. 头部摄像头（必备）

   • 眼动追踪、疲劳检测
   • Euro NCAP强制要求

2. 手部摄像头（推荐）

   • 手机使用检测
   • 方向盘握持分析

3. 身体姿态摄像头（可选）

   • OOP检测
   • 乘客互动分析

4.3 算法选型

┌────────────────────────────────────────┐
│          Driver-Net 简化方案            │
├────────────────────────────────────────┤
│ 特征提取：MobileNetV3 / EfficientNet    │
│ 时序建模：LSTM / Transformer            │
│ 融合策略：Cross-Attention               │
│ 部署平台：Qualcomm / TI / NVIDIA        │
└────────────────────────────────────────┘

---

五、与Euro NCAP对齐

5.1 功能覆盖

Euro NCAP要求	Driver-Net支持
眼动+头部追踪	✅ 头部摄像头
分心检测	✅ 手部+眼动
疲劳检测	✅ 头部摄像头
无响应检测	✅ 多模态融合
接管准备度	⭐ 核心功能

5.2 L3安全链路

DMS检测 → 准备度评估 → 接管请求
    ↓           ↓           ↓
  分心警告   准备/未准备   MRM触发

---

六、总结

关键贡献

1. 多摄像头融合范式：突破单摄像头局限
2. 95.8%准确率：显著优于传统方法
3. 实时非侵入：实用化部署友好

开发建议

优先级	功能	技术路线
P0	眼动+头部追踪	单摄像头+CNN
P1	分心检测	增加手部检测
P2	接管准备度	多摄像头融合

---

论文来源：Mahdi Rezaei, Mohsen Azarmi. “Driver-Net: Multi-Camera Fusion for Assessing Driver Take-Over Readiness in Automated Vehicles.” University of Leeds, 2025.

项目支持：European Union’s Hi-Drive Project

---

发布日期：2026-03-13