语音生物标记物:AI语音分析检测认知损伤达90%准确率及座舱应用启示

核心突破

两家机构在2026年9月底至10月初几乎同期发表语音认知损伤检测成果:

团队 发表 核心结果 方法要点
Naver Cloud Interspeech 2026(悉尼) ADReSSo 基准 F1 90.14% ASR嵌入+LLM语言特征融合
Trinity College Dublin 等 Science Advances,2026-09-30 语音”年龄钟”与认知衰退/脑老化相关 数百个声学+语言特征

对IMS的意义: 语音分析可检测驾驶员认知状态变化(疲劳/酒驾/走神/突发疾病),是视觉DMS之外全新的感知模态。

1. Naver Cloud语音痴呆检测

1.1 方法(据 CLOVA 官方技术博客)

Naver Cloud 在 Interspeech 2026 发表两篇论文,均在 ADReSS/ADReSSo 公开基准上评估:

参数 数值
评估基准 ADReSS(156人)、ADReSSo(237人)
语音任务 Cookie Theft 图片描述(单一任务)
论文一 ASR嵌入(Whisper→BiLSTM+注意力池化)与 LLM 语言通路(46个可解释特征取29个)门控融合
论文二 停顿标记转写/语流统计/叙事话题/音素序列四视角输入 LoRA 微调 LLM(Qwen3/Gemma3)
最佳结果 F1 90.14%(ADReSSo),此前最优 87.32%
论文 arXiv:2606.30675、arXiv:2606.28445

文中还给出:认知衰退组语速约 2.9 词/秒 vs 对照组 3.1 词/秒;≥0.5s 的停顿最具判别力。截至本文撰写,官方仅提供 arXiv 链接,未发布开源代码仓库。

1.2 关键特征分类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
# 示意代码,不可直接运行:仅演示韵律/声学特征提取的分类思路,并非论文官方实现。
# 论文实际方法为 Whisper ASR 嵌入 + LLM 语言特征融合(见 arXiv:2606.30675 / 2606.28445),
# 下面的特征分类与认知评分阈值为本文撰写,未经验证。
import numpy as np

class VoiceBiomarkerExtractor:
"""
语音生物标记物提取器(示意)

展示面向认知状态评估的韵律/音质/语言/情感等特征分类思路
"""

FEATURE_CATEGORIES = {
'韵律特征': {
'语速': 'words_per_minute, syllables_per_second',
'停顿': 'pause_count, pause_duration_mean, pause_ratio',
'音调': 'pitch_mean, pitch_range, pitch_slope',
'能量': 'energy_mean, energy_range, shimmer',
},
'音质特征': {
'嗓音': 'jitter, shimmer, HNR',
'呼吸': 'breath_count, breath_pattern',
'紧张度': 'spectral_tilt, formant_frequency',
},
'语言特征': {
'词汇': 'vocabulary_richness, TTR, MTLD',
'语义': 'semantic_similarity, content_density',
'流畅性': 'disfluency_count, filler_words',
'语法': 'syntax_complexity, sentence_length',
},
'情感特征': {
'情感效价': 'valence_mean, valence_range',
'唤醒度': 'arousal_mean, arousal_range',
'情感表达': 'emotional_diversity',
},
'时序特征': {
'节奏': 'rhythm_regularity, speech_tempo',
'组织性': 'narrative_structure, coherence',
},
'声学特征': {
'MFCC': '13-dim MFCC + delta + delta-delta',
'频谱': 'spectral_centroid, spectral_flux',
'共振峰': 'F1, F2, F3 frequencies',
},
'内容特征': {
'转录': 'ASR transcript → BERT embedding',
'关键词': 'keyword_density, topic_relevance',
}
}

def __init__(self, fs: int = 16000):
self.fs = fs

def extract_prosody(self, audio: np.ndarray) -> dict:
"""提取韵律特征"""
# 基频提取
from scipy.signal import medfilt

# 简化的基频估计(自相关法)
def estimate_f0(signal, fs, frame_len=0.04, hop=0.02):
frame_samples = int(fs * frame_len)
hop_samples = int(fs * hop)
f0_list = []

for i in range(0, len(signal) - frame_samples, hop_samples):
frame = signal[i:i+frame_samples]
if np.max(np.abs(frame)) < 0.01:
f0_list.append(0)
continue

# 自相关
autocorr = np.correlate(frame, frame, mode='full')
autocorr = autocorr[len(autocorr)//2:]

# 找第一个峰(跳过零延迟峰)
min_lag = int(fs / 400) # 400Hz max
max_lag = int(fs / 80) # 80Hz min

if max_lag >= len(autocorr):
f0_list.append(0)
continue

peak_region = autocorr[min_lag:max_lag]
if len(peak_region) == 0 or np.max(peak_region) < 0.1:
f0_list.append(0)
continue

peak_idx = np.argmax(peak_region) + min_lag
f0 = fs / peak_idx
f0_list.append(f0)

return np.array(f0_list)

f0 = estimate_f0(audio, self.fs)
f0_voiced = f0[f0 > 0]

# 停顿检测(能量阈值)
frame_energy = np.array([
np.sum(audio[i:i+int(self.fs*0.02)]**2)
for i in range(0, len(audio)-int(self.fs*0.02), int(self.fs*0.01))
])
threshold = 0.1 * np.max(frame_energy)
pauses = frame_energy < threshold
pause_ratio = np.sum(pauses) / len(pauses)

return {
'pitch_mean': float(np.mean(f0_voiced)) if len(f0_voiced) > 0 else 0,
'pitch_range': float(np.std(f0_voiced)) if len(f0_voiced) > 0 else 0,
'pause_ratio': float(pause_ratio),
'pause_count': int(np.sum(np.diff(pauses.astype(int)) == 1)),
'speech_rate': float(1 - pause_ratio), # 简化
}

def cognitive_score(self, features: dict) -> float:
"""
综合认知评分 (0-100)
0 = 严重认知损伤
100 = 认知健康
"""
score = 50.0

# 语速:正常 130-180 wpm
rate = features.get('speech_rate', 0.5)
if rate < 0.3:
score -= 15 # 语速过慢
elif rate > 0.8:
score += 5

# 停顿比例:正常 20-35%
pause = features.get('pause_ratio', 0.5)
if pause > 0.5:
score -= 20 # 停顿过多
elif pause < 0.2:
score += 5

# 音调范围:单调→可能损伤
pitch_range = features.get('pitch_range', 0)
if pitch_range < 10:
score -= 10 # 单调

return float(np.clip(score, 0, 100))


# 测试
if __name__ == "__main__":
rng = np.random.default_rng(42)
extractor = VoiceBiomarkerExtractor(fs=16000)

# 模拟正常语音
t = np.arange(0, 5, 1/16000)
normal_speech = 0.3 * np.sin(2*np.pi*150*t) * (np.sin(2*np.pi*3*t) > 0.5)
normal_speech += 0.05 * rng.normal(size=len(t))

# 模拟疲劳/认知受损语音(更慢、更多停顿、更单调)
tired_speech = np.zeros_like(t)
for i in range(0, len(t), 16000): # 每秒一个短段
seg_end = min(i + 8000, len(t)) # 0.5s说话
tired_speech[i:seg_end] = 0.2 * np.sin(2*np.pi*120*t[i:seg_end])

normal_feat = extractor.extract_prosody(normal_speech)
tired_feat = extractor.extract_prosody(tired_speech)

print("=== 正常语音特征 ===")
for k, v in normal_feat.items():
print(f" {k}: {v:.3f}")

print("\n=== 疲劳语音特征 ===")
for k, v in tired_feat.items():
print(f" {k}: {v:.3f}")

print(f"\n正常认知评分: {extractor.cognitive_score(normal_feat):.1f}")
print(f"疲劳认知评分: {extractor.cognitive_score(tired_feat):.1f}")

2. Trinity College Dublin “Speech Clock”

2.1 核心发现(据 Trinity 官方通稿,Science Advances 2026-09-30)

数百个声学与语言特征 → 机器学习估计”语音年龄” → 与实际年龄之差(speech age gap)关联认知衰退与脑老化

研究覆盖 2,928 名西语使用者(阿根廷/智利/哥伦比亚/墨西哥/秘鲁),含健康人、MCI、阿尔茨海默病与额颞叶痴呆变异型。

发现 出处表述
语音年龄 > 实际年龄 关联更差的整体认知、执行功能、功能能力与多种记忆(含非语言测验)
语音年龄差距沿健康→阿尔茨海默→额颞叶痴呆递增 组间区分有效,组合特征优于单一声学或语言特征
与脑老化/生物老化关联 结构与功能神经影像脑年龄、三种 DNA 甲基化时钟、血浆 p-tau217
与社会 exposome 关联 教育/经济/食品安全/医疗可及性等不利因素与语音加速老化同步
局限 横断面研究为主,尚不能预测未来认知衰退;尚非痴呆诊断工具

2.2 座舱应用映射(本文定性推测,非研究结论)

语音特征 驾驶状态 检测可行性(本文推测)
语速↓+停顿↑ 疲劳 ⭐⭐⭐⭐⭐
含糊/迟缓 酒驾 ⭐⭐⭐⭐⭐
词汇贫乏/重复 走神 ⭐⭐⭐
突然语无伦次 突发疾病(中风) ⭐⭐⭐⭐
情感平淡 压力/抑郁 ⭐⭐⭐
语速↑+激动 路怒症 ⭐⭐⭐⭐

3. 座舱语音DMS架构

3.1 系统设计

3.2 STM32N6离线部署

截至本文撰写,语音认知检测在 MCU 上的离线部署尚无公开的内存/延迟数据,无法直接给出 STM32N6 可行性结论。需要自行评估的环节:VAD、受限词表 ASR、韵律特征提取与评分模型的算力与存储占用,建议以真实座舱音频实测。

4. 与现有DMS融合

4.1 多模态互补

DMS模态 检测什么 语音补充什么
视觉(PERCLOS) 眼睑闭合 语速/停顿变化
视线(凝视熵) 注意力分散 词汇/语义异常
头姿 点头/侧倾 情感/激动度
运动学(PE) 车辆控制 语音含糊度
心率(HRV) 生理唤醒 认知组织能力

4.2 融合效果

语音模态与视觉/心率/运动学融合后对各类检测目标能带来多少增益,目前无公开数据支撑,需以自采数据实测。方向性判断:对突发疾病这类视觉信号弱的状态,语音可能是增益最大的模态(本文推测)。

5. IMS开发启示

5.1 分阶段实施

阶段 时间(估算) 功能 新增硬件
Phase 1 1月 韵律特征(语速/停顿) 无(复用已有麦克风)
Phase 2 2月 ASR+内容分析 无(STM32N6)
Phase 3 3月 多模态融合 无(软件)
Phase 4 6月 突发疾病检测 需验证数据

5.2 Euro NCAP场景对接

各场景的可达准确率无公开数据,以下仅给特征对接思路:

NCAP场景 可用语音特征
驾驶员无响应 无语音+长时间沉默
酒驾损伤 含糊/迟缓/重复
认知分心 词汇贫乏/答非所问
疲劳 语速↓/停顿↑

5.3 隐私处理

要求 方案
不存储语音内容 仅提取特征,实时处理
不上传云端 离线MCU处理
不识别说话内容 仅分析韵律/声学特征
用户可关闭 设置选项

6. 总结

语音认知检测是 DMS的全新感知维度:

  1. F1 90.14%(ADReSSo基准) — Naver Cloud 在公开基准上验证了语音痴呆检测的可行性(注意:基准≠驾驶场景)
  2. 数百个声学+语言特征 — Trinity 的”语音年龄钟”证明语音承载认知/脑老化信息
  3. 零新增硬件 — 利用已有座舱麦克风
  4. 与视觉互补 — 覆盖视觉信号弱的状态(突发疾病/认知状态),融合增益需实测

对IMS团队:

  • 立即采集 驾驶员疲劳/正常语音样本对比
  • 开发 韵律特征提取管道(语速/停顿/音调)
  • 评估 边缘侧 ASR+韵律联合模型的内存/延迟
  • 融合 语音认知评分到现有DMS决策层
  • 对标 Euro NCAP “驾驶员无响应”场景

参考

  1. CLOVA 官方技术博客: What a voice reveals about cognitive health — https://clova.ai/en/tech-blog/what-a-voice-reveals-about-cognitive-health-two-approaches-to-catching-early-signs-of-dementia
  2. Jung, Park, Oh (Naver Cloud). Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection. Interspeech 2026. arXiv:2606.30675
  3. Park, Jung, Oh (Naver Cloud). LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features. Interspeech 2026. arXiv:2606.28445
  4. Trinity College Dublin 官方通稿: Voice may reveal how well you are aging(Science Advances, 2026-09-30)— https://www.tcd.ie/news_events/top-stories/featured/voice-may-reveal-how-well-you-are-aging/
  5. Interspeech 2026(悉尼)ISCA Archive — https://www.isca-archive.org/interspeech_2026/