EMMI:边缨多模态智能压缩——座舱 MLLM 通信高效推理
EMMI:边缨多模态智能压缩——座舱 MLLM 通信高效推理论文信息 标题: EMMI: Edge Multi-Modal Intelligence for Communication-Efficient MLLM Inference via Fused Representation Compression arXiv: 2609.11058 时间: 2026年9月 核心贡献: 边缘设备压缩多模态表征传输到服务器,实现通信高效 MLLM 推理 核心创新EMMI 解决边缘-服务器协同 MLLM 推理的通信瓶颈: 模态特定编码:各传感器在边缘端独立编码 跨模态融合:在边缘端融合多模态特征 学习压缩:将融合表征压缩为紧凑潜变量 服务器推理:仅传输压缩潜变量到服务器 MLLM 架构详解1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980...
情感作为分布而非标签——Valence-Arousal 概率图颠覆驾驶员情绪检测
情感作为分布而非标签——Valence-Arousal 概率图颠覆驾驶员情绪检测论文信息 标题: Emotion as a Distribution: Joint Valence-Arousal Probability Learning for Speaker-Independent Multimodal Emotion Recognition 作者: Tingyi Lin 等 arXiv: 2609.05755 提交至: Speech Communication 代码: https://github.com/brian10420/EchoMind-Mamba-VA-SER 核心: 9×9 Valence-Arousal 概率矩阵替代单一标签,73.0% UAR(说话人无关) 核心创新 情感是分布不是标签:输出 9×9 VA 概率矩阵,而非单一硬标签 二维高斯软目标:用 KL 散度训练,捕获情感混合性和模糊性 Mamba 状态空间骨干:与 Transformer 对比,匹配深度/宽度 说话人无关 73.0% UAR:5-fold leave-one-session-o...
IPMAN:直觉物理引导的 3D 人体姿态估计——OOP 物理合理性约束
IPMAN:直觉物理引导的 3D 人体姿态估计——OOP 物理合理性约束论文信息 标题: 3D Human Pose Estimation via Intuitive Physics 会议: CVPR 2023 模型: IPMAN (Intuitive-Physics based huMAN) 数据集: Human3.6M, RICH, MoYo (新引入) 核心贡献: 将可微分物理约束集成到 3D 姿态估计,确保重建物理合理 核心创新 可微分物理约束:质心 (CoM)、压力中心 (CoP)、地面接触 倒立摆平衡模型:CoM 投影需在 CoP 之上 10 部位体积加权 CoM:解剖学准确的质心计算 MoYo 数据集:专业瑜伽教练 200 复杂姿态 + 压力垫验证 BoSE 指标:Base of Support Error,衡量平衡物理性 方法详解1. 三个直觉物理项12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758...
SAE L3 自动驾驶被动疲劳——眼动+ECG 多模态检测
SAE L3 自动驾驶被动疲劳——眼动+ECG 多模态检测论文信息 标题: Multimodal Physiological Detection of Passive Fatigue in SAE Level 3 Automated Driving Using Eye-Movement and ECG Features 来源: Applied Sciences (MDPI), 16(18), 9049 作者: Li Jiangtian, Lan Chenghui 时间: 2026年9月 核心贡献: L3 自动驾驶中被动疲劳的多模态生理检测 核心创新 被动疲劳 (Passive Fatigue):L3 中驾驶员不操作但需监控,因任务单调产生疲劳 眼动 + ECG 双模态:互补检测认知衰减 SAE L3 场景特化:针对监控型疲劳而非驾驶型疲劳 方法详解1. 被动疲劳 vs 主动疲劳 维度 主动疲劳 (L0-L2) 被动疲劳 (L3) 驾驶员角色 主动操作 监控者 疲劳来源 操作负荷 任务单调 发生速度 渐进 更快 眼动特征 凝视分散 凝视固定+眨眼减少 ...
标签抖动与视觉优于生理——驾驶员分心检测的关键洞察
标签抖动与视觉优于生理——驾驶员分心检测的关键洞察论文信息 标题: Machine Learning and End-to-End Deep Learning for Monitoring Driver Distractions From Physiological and Visual Signals 来源: IEEE Access (Lacuna) 受试者: 68 名志愿者 数据量: ~20,000 实例 核心发现: 视觉模态远优于生理信号;XGBoost 优于深度学习;标签抖动是核心挑战 核心发现这篇研究揭示了驾驶员分心检测中三个反直觉的发现: 视觉信号 >> 生理信号:面部 AU(动作单元)远比心率/皮肤电导有效 XGBoost >> 深度学习:在中等数据量上,精心特征工程胜过端到端 DL 标签抖动 (Label Jitter):生理响应延迟 5-10 秒,使实时分类极其困难 方法详解1. 数据模态 模态 通道 采样率 信息量 IMS 可获取性 心率 (HR) 1 1Hz ❌ 低 rPPG 可提取 呼吸率 (BR) 1...
多传感器碰撞测试框架——OOP 异常姿态伤害评估新方法
多传感器碰撞测试框架——OOP 异常姿态伤害评估新方法论文信息 标题: A Multi-Sensor Experimental Framework for Assessing Occupant and Vehicle Dynamics in Crash Test Scenarios 来源: Sensors 期刊 (MDPI), 26(18), 5828 时间: 2026年9月13日 核心贡献: 同步多传感器框架评估碰撞中乘员动力学和约束系统 核心创新 同步多传感器时间基准:车辆结构响应 + 约束系统负载 + 乘员生物力学统一时间轴 OOP 正面碰撞测试:前倾乘员在正面刚性壁障碰撞中的伤害评估 追尾碰撞测试:标准坐姿乘员的追尾碰撞评估 3 辆车 + 6 个假人:系统级验证 测试设计1. 碰撞场景 场景 碰撞类型 乘员姿态 车辆数 假人数 A 追尾(前车被追尾) 标准坐姿 2 3 B 正面刚性壁障 前倾 OOP 1 3 2. OOP 前倾姿态1234567891011121314151617181920212223242526272829303132333435...
PressurePose:压力垫 3D 人体姿态估计——OOP 异常姿态检测的隐私方案
PressurePose:压力垫 3D 人体姿态估计——OOP 异常姿态检测的隐私方案论文信息 标题: Bodies at Rest: 3D Human Pose and Shape Estimation From a Pressure Image Using Synthetic Data 会议: CVPR 2020(经典论文,2026 年新应用) 数据集: PressurePose (206K 合成压力图像) 模型: PressureNet 核心贡献: 纯合成数据训练,真实数据零样本泛化,3DVPE 4.99cm 核心创新 合成数据管道:物理引擎模拟人体在压力垫上的稳定姿态 → 生成压力图像 PressureNet 双阶段架构:粗估计 → 精细化 Pressure Map Reconstruction (PMR):从 3D 网格重建压力图,确保一致性 合成→真实零样本迁移:纯合成训练,真实数据 3DVPE 仅 4.99cm 方法详解1. 问题定义座舱 OOP 检测需要在以下场景工作: 驾驶员前倾/后仰/侧倾 乘客蜷缩/异常姿态 儿童/...
轻量级情感识别 RAFM-SER++——边缘部署的驾驶员情绪监控
轻量级情感识别 RAFM-SER++——边缘部署的驾驶员情绪监控论文信息 标题: RAFM-SER++: A Lightweight Multimodal Emotion Recognition Framework for Real-Time Behavioral Monitoring in Surveillance Systems 作者: Trung Duong 等 会议: IEEE AVSS 2026(国际先进视频与信号监控会议) arXiv: 2609.07409 核心: 非对称残差注意力融合,参数减少 60%,推理 79.60 it/s 核心创新 非对称残差注意力融合 (RAFM):单向注入语音情感线索到文本表征,非双向交互 BYOL 跨模态对齐:无需标签的对比学习目标 注意力引导池化:替代简单均值池化 极致轻量:参数量减少 60%+,推理速度 79.60 it/s 方法详解1. 设计哲学 方法 融合方式 参数量 推理速度 适用场景 跨模态 Transformer 双向交互 ~10M ~20 it/s 云端服务器 MemoC...
SAE L3 被动疲劳与航空座舱启示——从微睡眠到接管就绪的多模态检测
SAE L3 被动疲劳与航空座舱启示——从微睡眠到接管就绪的多模态检测论文信息 标题: Multimodal Physiological Detection of Passive Fatigue in SAE Level 3 Automated Driving Using Eye-Movement and ECG Features 作者: Li Jiangtian, Lan Chenghui 期刊: Applied Sciences (MDPI), 2026, 16(18): 9049 DOI: 10.3390/app16189049 核心: SAE L3 自动驾驶中被动疲劳的眼动+ECG 多模态检测 核心问题:被动疲劳1. 什么是被动疲劳SAE L3 自动驾驶中,驾驶员从”操作者”变为”监督者”: 无需操作方向盘/踏板,但需随时准备接管 任务单调性高 → 警觉性下降 → “被动疲劳” 与主动疲劳(长时间驾驶导致)不同,被动疲劳在短时间内即可发生 疲劳类型 成因 发生速度 检测特征 主动疲劳 长时间驾驶 2-4小时 PERCLOS↑, 眨眼↑...
方向盘 sEMG 疲劳检测——非接触式生物信号前置预警
方向盘 sEMG 疲劳检测——非接触式生物信号前置预警论文信息 标题: Can Steering Wheel Detect Your Driving Fatigue? 核心方案: 方向盘内嵌表面肌电传感器 (sEMG) F1 Score: 90%+(实路测试),96%(实验室) 核心价值: 非侵入式生理信号,比面部检测提前 2-5 分钟预警 核心创新 方向盘内嵌 sEMG:FPC 板(10cm×5cm)直接嵌入方向盘,驾驶员握持即采集 Valid sEMG Selection Machine (VsESM):半监督学习分离有效肌电 vs 噪声 二层特征工程:Slope of Lempel-Ziv Complexity + Signal Magnitude Area 早于行为指标:肌肉微调在打哈欠/车道偏离前 2-5 分钟出现 方法详解1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636...