近几十年来针对正常言语的自动语音识别（ASR）技术取得了快速进展，但准确识别言语障碍（dysarthric）和老年言语仍然是一项极具挑战性的任务。言语障碍是一种由多种运动控制疾病引起的常见言语障碍类型，包括脑瘫、肌萎缩侧索硬化、中风和脑损伤。此外，诸如阿尔茨海默病（Alzheimer's disease, AD）之类的神经认知障碍也常常出现在有言语和语言障碍的老年人中。

        针对言语障碍和老年用户需求定制的ASR技术不仅可以改善他们的生活质量，还可以实现大规模的神经认知障碍（例如AD）的自动早期诊断。

      本文通过探索一系列技术，将最新的单语言和多语言SSL预训练语音基础模型及其特征整合到混合TDNN和Conformer ASR系统中，以提高对言语障碍和老年语音的识别能力。这些技术旨在利用这些模型的多样性和互补性，提高对未见和覆盖不足单词的泛化性能，以及对非常低可懂度的最具挑战性的言语障碍语音数据的性能。

1 相关背景

1.1 失语症和老年语音识别的挑战

• 与正常语音的差异性: 失语症和老年语音由于运动控制和衰老的原因，与正常语音存在较大差异，例如发音不精确、语音量和清晰度下降、流利度增加等。
• 数据稀缺: 由于难以从有身体残疾和行动不便的说话者中收集数据，导致失语症和老年语音数据稀缺。
• 说话者多样性: 失语症和老年说话者之间存在着巨大的差异，这使得 ASR 系统难以泛化到不同的说话者。

1.2 基于传统 ASR 技术的解决方案

• 数据增强: 为了解决数据稀缺问题，研究人员开发了一系列数据增强技术，例如速度扰动和时间扰动等。
• 领域自适应: 研究人员还研究了如何将通用的 ASR 系统进行领域自适应，以更好地处理失语症和老年语音。
• 说话者自适应: 为了解决说话者多样性问题，研究人员研究了各种说话者自适应技术，例如直接参数微调和基于 LHUC 的说话者自适应等。
• 多模态融合: 研究人员还探索了将视觉和语音运动特征等融入 ASR 系统的方法。

2 SSL模型在ASR中应用

自监督学习是一种无监督学习方法，它尝试从未标记的数据中学习表示，通过预测数据本身的某些属性或结构来作为监督信号。在语音识别的上下文中，SSL模型试图从原始语音信号中学习有用的特征表示，而不依赖于人工标注的转录文本。

2.1 SSL 预训练模型的选择

• Wav2vec2.0: 一种基于对比学习的 SSL 预训练模型，可以学习语音表示和离散语音单元。
• HuBERT: 一种基于聚类和预测的 SSL 预训练模型，可以学习语音表示和离散语音单元。
• WavLM: 与 HuBERT 类似，但使用了门控相对位置偏置和混合语音输入。
• Data2vec: 与 Wav2vec2.0 类似，但学习预测完整输入音频序列的潜在语音表示。
• XLSR: 一种多语 SSL 预训练模型，可以学习跨语言的语音表示。

2.2 基于自监督学习 (SSL) 的 ASR 技术的优势

• 自监督学习: SSL 技术可以训练出强大的语音表示，并且对领域不匹配具有鲁棒性。
• 数据利用: SSL 模型可以有效地利用大量的未标记数据，这有助于解决数据稀缺问题。
• 泛化能力: SSL 模型在处理未见过的或覆盖不足的词汇时具有更好的泛化能力。

3 ASR系统构建和组合

   本文将自监督学习 (SSL) 预训练的语音模型及其特征与传统的 ASR 系统进行组合和构建的方法，以应对失语症和老年语音识别的挑战。

3.1 ASR 系统组合

• 帧级联合解码: 将使用不同特征训练的 TDNN 系统进行帧级联合解码，将每个系统的输出概率进行加权平均，以提高模型的鲁棒性。例如，可以将仅使用标准语音特征的 TDNN 系统与使用 SSL 特征的 TDNN 系统进行联合解码，利用两者在特征表示方面的互补性。
• 跨系统多遍解码: 使用域内微调的 SSL 模型对 TDNN 或 Conformer 系统的 N-best 输出进行重新评分，进一步提高模型的准确率。例如，可以将 TDNN 系统的 N-best 输出使用域内微调的 HuBERT 模型进行重新评分，利用 HuBERT 模型在语言建模方面的优势。

3.2 ASR 系统构建

微调后的Wav2vec2.0/HuBERT模型及其特征整合到TDNN/Conformer ASR系统

3.2.1 TDNN 系统

• 使用 TDNN 架构构建 ASR 系统，该架构由多个时间延迟层组成，可以有效地处理长时程依赖关系。
• 使用 LHUC 技术进行说话者自适应，根据不同说话者的特征进行参数调整，以提高模型的泛化能力。
• 使用标准语音特征（例如滤波器组）作为输入，并使用外部语言模型进行解码。

3.2.2 Conformer 系统

• 使用 Conformer 架构构建 ASR 系统，该架构结合了卷积神经网络和 Transformer 模型，可以有效地提取语音特征并进行序列建模。
• 使用标准语音特征（例如梅尔频率倒谱系数）作为输入，并使用外部语言模型进行解码。

3.2.3 多模态融合

• 将 SSL 特征与 A2A 反转生成的语音运动特征进行融合，以构建多模态 ASR 系统。例如，可以使用 HuBERT 模型生成的语音表示作为 A2A 反转的输入，生成更通用的语音运动特征，并将其与标准语音特征进行融合。

4 实验

4.1 实验设置

4.1.1 数据集

• UASpeech 数据集: 是一个公开可用的失语症语音数据集，包含 29 名说话者的 148,912 个句子，词汇量为 455 个。数据集被分为三个块，每个块包含一组常见的单词和一组不常见的单词。
• TORGO 数据集: 是另一个公开可用的失语症语音数据集，包含 8 名失语症说话者和 7 名健康说话者的 13.5 小时语音数据。
• DementiaBank Pitt 数据集: 是一个公开可用的老年语音数据集，包含 292 名老年参与者与临床调查员之间的 33 小时语音数据。数据集被分为训练集、开发集和评估集。
• JCCOCC MoCA 数据集: 是一个公开可用的老年语音数据集，包含 256 名老年参与者与临床调查员之间的 32.4 小时语音数据。数据集被分为训练集、开发集和评估集。

4.1.2 基线模型

• TDNN 系统: 使用 Kaldi 工具箱进行训练，包含 7 个上下文切片层，使用 40 维 Mel 频率倒谱系数作为输入，并使用外部语言模型进行解码。
• Conformer 系统: 使用 ESPNet 工具箱进行训练，包含 12 个 Transformer 块，使用 40 维 Mel 频率倒谱系数作为输入，并使用外部语言模型进行解码。

4.1.3 SSL 模型微调

• 单阶段微调: 仅使用域外正常语音数据或域内失语症或老年语音数据对 SSL 模型进行微调。
• 双阶段微调: 首先使用域外正常语音数据对 SSL 模型进行微调，然后使用域内失语症或老年语音数据再次微调。
• 多任务学习: 将 CTC 损失和注意力损失结合起来进行微调，以提高模型性能。

4.1.4  特征融合

• 瓶颈模块: 将 SSL 模型的输出通过瓶颈模块进行压缩，以生成更紧凑的语音表示。
• 特征融合: 将 SSL 特征与标准语音特征（例如滤波器组）进行融合，以利用两者的优势。

4.1.5 A2A 反转

使用基于 MDN 的 A2A 反转模型，将 SSL 特征转换为语音运动特征。

4.2 评估指标

4.2.1 词错误率 (Word Error Rate, WER)

• WER 是衡量 ASR 系统识别准确率的指标。
• WER 越低，说明 ASR 系统的识别准确率越高。

4.2.2 字符错误率 (Character Error Rate, CER)

• CER 是衡量 ASR 系统识别准确率的另一个指标。
• CER 越低，说明 ASR 系统的识别准确率越高。

4.2.3 隐蔽语言模型 (Masked Language Model, MLM)

• MLM 是一种评估语言模型性能的指标。
• MLM 越高，说明语言模型的预测能力越强。

4.2.4 下一句预测 (Next Sentence Prediction, NSP)

• NSP 是一种评估语言模型理解能力的指标。
• NSP 越高，说明语言模型对句子之间关系的理解能力越强。

4.2.5 AD 诊断准确率

• 使用 BERT 或 Roberta 模型进行 AD 诊断，评估 ASR 系统对 AD 诊断的支持。
•  准确率 (Accuracy)、灵敏度 (Sensitivity) 和特异性 (Specificity)。

4.3 实验结论

4.3.1 失语症语音识别

4.3.1.1 UASpeech 数据集

• 基于域内微调的 HuBERT 模型，使用输入特征融合、帧级联合解码和多遍解码的方法，取得了 20.56% 的 WER，优于其他基线系统，包括单独微调的 HuBERT 模型和 Conformer 系统。
• 将 HuBERT 特征与 A2A 反转生成的语音运动特征进行融合，进一步提高性能。

4.3.1.2 TORGO 数据集

• 与 UASpeech 数据集的结果类似，域内微调的 HuBERT 模型结合了多种技术，取得了 18.07% 的 WER，优于其他基线系统。
• 将 HuBERT 特征与 A2A 反转生成的语音运动特征进行融合，进一步提高性能。

4.3.2 老年语音识别

4.3.2.1 DementiaBank Pitt 数据集

• 基于域内微调的 wav2vec2-conformer 模型，使用输入特征融合、帧级联合解码和多遍解码的方法，取得了 18.07% 的 WER，优于其他基线系统，包括单独微调的 wav2vec2-conformer 模型和 Conformer 系统。
• 将 wav2vec2-conformer 特征与 A2A 反转生成的语音运动特征进行融合，进一步提高性能。

4.3.2.2 JCCOCC MoCA 数据集

• 基于域内微调的 XLSR-128 模型，使用输入特征融合、帧级联合解码和多遍解码的方法，取得了 7.97% 的 CER，优于其他基线系统，包括单独微调的 XLSR-128 模型和 Conformer 系统。
• 将 XLSR-128 特征与 A2A 反转生成的语音运动特征进行融合，进一步提高性能。

4.3.3  AD 诊断

• 使用 ASR 系统输出的语音转录，提取文本特征，并使用 BERT 或 Roberta 模型进行 AD 诊断。
• 基于 TDNN 系统的 ASR 模型，包括域内微调的 wav2vec2-conformer 或 XLSR-128 模型，取得了 83.94% 的 AD 诊断准确率，优于其他基线系统。

主要内容参考：Shujie.H et al., "Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition"