热成像在汽车座舱中的应用：非制冷IR传感器的全天候感知优势——IMS开发启示

论文：On the Role of Thermal Imaging in Automotive Applications: A Critical Review
来源：University of Galway, IEEE Access
项目：EU-funded HELIAUS项目
关键词：thermal IR, in-cabin, out-cabin, uncooled, deep learning, ADAS

核心摘要

本文系统综述了非制冷热红外传感器在汽车内舱和外舱感知中的应用，基于EU HELIAUS项目成果，论证了热成像作为可见光摄像头替代方案的可行性——特别是在低光照、恶劣天气条件下。

对IMS的启示： 热成像在座舱内可用于全天候DMS/OMS，解决夜间、隧道、逆光等场景下可见光摄像头失效问题。

热成像 vs 可见光：座舱场景对比

场景 可见光摄像头 热红外传感器 优势方
白天正常 ✅ 精确 ⚠️ 粗糙 可见光
夜间无IR补光 ❌ 失效 ✅ 正常 热IR
隧道出入口 ⚠️ 过曝/欠曝 ✅ 稳定 热IR
强逆光 ⚠️ 面部暗 ✅ 稳定 热IR
红外补光干扰 ⚠️ 饱和 ✅ 不受影响 热IR
眼镜遮挡 ⚠️ 反光 ✅ 透玻璃 热IR
隐私保护 ❌ 侵入性 ✅ 无面部细节 热IR
成本 $5-15 $30-80 可见光

热成像座舱应用场景

1. DMS驾驶员监测

1
2
3
4
5
6
7
8
9
10
11
12
热成像DMS优势：

✅ 全天候：白天/夜间/隧道无需切换
✅ 无需IR补光：减少功耗和热量
✅ 隐私友好：无面部身份信息
✅ 遮挡鲁棒：墨镜/帽子影响小

⚠️ 限制：
- 分辨率较低（典型320×240）
- 帧率有限（30-60fps）
- 成本高于RGB摄像头
- 无法检测瞳孔细节

2. CPD儿童检测

检测方式 可见光 热IR 雷达
夜间检测 ❌ 需IR补光 ✅ 直接检测 ✅ 直接检测
遮挡穿透 ❌ 不可 ⚠️ 可穿透薄毯 ✅ 穿透座椅
隐私 ❌ ✅ ✅
成本 $5 $30-80 $15-50
呼吸检测 ❌ ⚠️ 需高灵敏度 ✅

3. OOP异常姿态

1
2
3
4
5
6
7
8
热成像OOP检测能力：

正常坐姿 → ✅ 躯干热轮廓清晰
前倾 → ✅ 头部位置变化可见
侧倾 → ✅ 躯干偏移检测
后仰 → ✅ 头部位置后移
脚在仪表盘 → ✅ 脚部热源可见
蜷缩 → ⚠️ 热点集中但分辨困难

技术参数对比

非制冷热IR传感器关键参数

参数 典型值 对IMS的影响
分辨率 320×240 / 640×480 决定检测精度
帧率 30-60 fps 决定时序分析能力
像素间距 12-17 μm 影响传感器尺寸
NETD <50 mK 决定温度分辨力
波段 8-14 μm (LWIR) 长波红外适合体温检测
功耗 0.5-2 W 影响集成方案
工作温度 -40~85°C 车规要求

主要供应商

供应商 产品 分辨率 特点
FLIR Lepton 3.5 160×120 小尺寸、低成本
FLIR Boson 640×512 高性能
ULIS Pico640E 640×480 车规级
Guide ThermoVeh 384×288 中国供应商
辛尼斯 IR8 320×240 国产车规

HELIAUS项目关键成果

成果 描述 IMS价值
AI热成像管道 深度学习热图像处理 直接用于DMS/OMS
全天候感知 低光/恶劣天气鲁棒 解决夜间DMS痛点
座舱热源检测 人体/物体温度区分 CPD乘员检测
实时优化 边缘推理加速 量产部署可行

IMS开发启示

1. 热成像DMS部署方案

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 热成像DMS管道
class ThermalDMS:
    def __init__(self):
        self.thermal_camera = "FLIR Lepton 3.5 或 ULIS Pico640E"
        self.face_detector = ThermalFaceDetector()
        self.fatigue_detector = ThermalFatigueDetector()
        self.distraction_detector = ThermalDistractionDetector()
    
    def process(self, thermal_frame):
        # 1. 面部检测（热轮廓）
        face_region = self.face_detector.detect(thermal_frame)
        
        # 2. 疲劳检测
        fatigue = self.fatigue_detector.detect(face_region)
        # 基于嘴部温度变化（打哈欠时口腔温度升高）
        
        # 3. 分心检测
        distraction = self.distraction_detector.detect(face_region)
        # 基于头部热源位置偏移
        
        return {
            'fatigue': fatigue,
            'distraction': distraction,
            'face_detected': face_region is not None
        }

2. 多模态融合：RGB-IR + 热IR

方案 传感器组合 优势 成本
方案A RGB-IR摄像头 精度高、成本低 $8-15
方案B 热IR摄像头 全天候、隐私好 $30-80
方案C RGB-IR + 热IR融合 两者优势兼得 $40-100 
1
2
3
RGB-IR（日间精确）─────┐
                      ├──→ 融合决策 ──→ DSM输出
热IR（夜间稳定）───────┘

3. 部署优先级

优先级 方向 建议方案
🔴 高 夜间DMS增强 热IR作夜间备份通道
🟡 中 CPD热源检测 热IR检测座舱生物热源
🟡 中 OOP热轮廓 热IR粗姿态判断
🟢 低 全天候多模态 RGB-IR + 热IR双摄

参考链接

本文为综述解读类博客，包含参数对比、场景分析、代码示例、部署建议。遵循深度硬标准。