2308.03266

SeACo-Paraformer：支持灵活高效热词定制的非自回归语音识别系统

一句话定位

提出一种基于非自回归模型 Paraformer 的语音识别系统 SeACo-Paraformer，通过显式建模热词上下文信息，在保持高识别准确率的同时显著提升热词召回率，并引入注意力分数过滤（ASF）策略以应对大规模热词列表场景。

小学生也能听懂

这篇论文像给语音识别系统装了个“热词提醒器”，让它特别留意人名、地名等难认的词。它用新方法把热词信息悄悄加进识别过程，既快又准，还能处理成千上万个热词，认得更牢了。

为什么值得记录

• 解决了端到端语音识别中热词定制能力不足的问题，尤其针对低频实体名、人名等个性化词汇识别效果差；
• 结合非自回归模型的高效性与注意力-编码器-解码器（AED）模型的高精度，实现速度与性能的双重优势；
• 提出显式热词建模机制，训练过程解耦，支持使用专门的热词数据进行增量训练而不影响通用识别性能；
• 开源模型、代码及两个热词测试集，推动工业界和学术界在个性化语音识别方向的发展。

核心方法

• 采用 Paraformer 作为主干网络，利用其 CIF 机制生成与输出序列同步的声学嵌入；
• 引入偏置编码器（bias encoder）对随机采样的热词进行 LSTM 编码，获取语义表示；
• 设计偏置解码器（bias decoder），通过多头注意力机制将热词信息分别注入声学嵌入和解码器隐藏状态；
• 在输出层融合偏置后的声学和解码信息，预测每个时间步是否受热词影响，并计算交叉熵损失；
• 推理阶段根据偏置概率动态融合原始 ASR 输出与偏置输出，λ 控制融合权重；
• 提出注意力分数过滤（ASF）策略：先在全量热词上计算注意力得分，选取最相关的 top-k 热词进行最终偏置推理，缓解大规模热词带来的性能下降。

关键结果

• 在 50,000 小时工业数据上训练，SeACo-Paraformer 相比 Paraformer-CLAS 在 R1-热词（基础召回率 <40%）上的平均召回率从 51% 提升至 60%；
• 加入 ASF 后，R1-热词召回率进一步提升至 65%，相对提升 26.1%；
• 在开源 Aishell-1 构建的测试集上，SeACo-Paraformer+ASF 达到 87% 的热词召回率，优于 CLAS 的 69%；
• 随着热词数量从 231 增至 4000，SeACo-Paraformer+ASF 仍能维持 CER 下降趋势，而其他模型性能恶化；
• 消融实验表明，同时使用声学嵌入和解码器隐藏状态进行偏置建模效果最优，单独使用任一部分均会导致性能下降。

局限与风险

• 热词采样策略依赖超参数调优（如 rb, ru, lmin, lmax），可能影响训练稳定性；
• ASF 策略增加一次前向传播开销，虽提升效果但略微降低推理效率；
• 当前方法假设热词列表静态给定，未考虑动态更新或在线学习场景；
• 实验未涵盖多语言或跨语种热词定制场景，泛化能力有待验证。

适合沉淀的概念

non-autoregressive-asr, hotword-customization, contextual-speech-recognition, cif-mechanism, attention-score-filtering, bias-decoder, paraformer-model, end-to-end-asr

阅读注意

• 关注 SeACo-Paraformer 如何结合 CIF 输出与解码器状态进行双重偏置建模；
• 注意热词采样策略的具体实现细节及其对训练效果的影响；
• 分析注意力分数矩阵可视化结果，理解热词激活机制的实际行为；
• 对比不同融合方式（如 A1/A2/A3 消融实验）对 CER 和召回率的影响；
• 评估 ASF 在不同热词规模下的有效性，理解其缓解稀疏注意力问题的原理。

质量说明

• 采用来源：raw，raw/papers/2023/08/2308.03266.md
• 生成模型：LongCat-Flash-Chat
• 源材料判断：论文提供了完整的模型架构、训练流程、实验设置和结果分析，包含消融实验与可视化分析，数据充分且结论可靠。所有模型、代码和测试集均已开源，具备高度可复现性。