我的开源
《滴滴出行场景中语音识别模型的自学习平台化实践》读后感
背景
尤其是对于细分领域新增的专有词汇，如英文词、地名、专业用语，如果不针对性的调优模型，任何一家厂商的语音识别模型都难以满足业务要求。
语音识别简单来说分为声学模型，语言模型，解码器和发音词典。声学模型重建音素级别的内容；语言模型表征词间关系；解码器将声学模型、语言模型和发音词典结合到一张加权有向图上，输出音频对应的最高分数的词（字）序列。我们可以通过语音识别自学习平台对声学模型和语言模型进行优化，它具有以下优势：
亮点
通过平台添加任务周期性地回流线上数据
对线上数据全部进行人工标注价格不菲。我们可以通过平台添加任务周期性地回流线上数据，简单说就是筛选识别结果高置信的音频/文本加入模型训练，达到模型自动更新、闭环迭代的效果。
半监督训练
在模型训练及优化时，通常需要大量的标注数据进行数据支撑，然而标注数据本身获取的时间较长，同时成本较高。为了能够在标注数据较少，甚至没有的情况下，也能够较快的进行模型的优化。对此我们采取了半监督(SSL -- Semi-Supervised Learning)的训练方式，充分利用线上的大量无标注数据，快速进行模型的自学习优化。
在进行模型训练时，通常我们将在大量带标签的语料库上进行的训练称之为有监督训练。而与之区别，半监督训练的特点是可以利用已有的模型或网络对大量无标签数据进行预测，并将它的伪标签（Pseudo label）作为新的训练数据放入网络中进行自学习的模型训练。这种自学习的训练方式通常能比单纯使用少量标注数据时，能够带对模型效果带来更大的提升。
声学数据回流
自学习框架是通过半监督的方式，利用庞大的线上数据完成模型自动优化的框架，其具体框架如下：
对于一个新的业务场景，我们首先将线上的语音数据通过定时器定期的从数据库hive表中拉取后，将其放入由多个召回模型和一个可选择的判别策略组成的数据回流模块中，通过数据回流召回质量较高的语音并得到与其对应的伪标签。而这些被我们从线上召回的数据将被作为新的训练数据加入模型中，并根据业务侧提供的测试集自动的进行模型的优化和参数的调整。最后优化得到的模型将在进行能力输出的同时也放回数据回流模块中，通过更新召回模型的方式优化下一次召回的数据质量。其中，一些主要的模块功能介绍如下：
数据召回模块
数据召回模块的主要功能是筛选出质量高的语音，并且预测与语音对应的伪标签。它是由数据处理、多个召回模型和判别策略组成。期间为提高模块所召回数据的质量，在进行数据召回时，没有选择使用单一模型进行伪标签预测，而是选用多个与目标场景类似的模型在规定阈值的情况下，按照一定的相似度来进行数据的选取以及伪标签的预测。这种方式不仅可以保证数据的质量能够对模型训练的性能带来有效提升，同时也能够增加训练样本的多样性，让模型在训练的过程中变得更为鲁棒。
模型训练模块
在进行模型训练时，依据召回的数据量，进行模型迭代的周期可能是一周或者数周。为了能够随时检测训练出的模型质量，在训练的过程中采取了在训练的同时进行解码的方式，每检测到一个新训练出的模型之后即开始进行同步的模型打包和解码。同时为保证在每个批次中解码的参数是对于当前模型最优的，框架在每次进行新一轮的解码时，都会自动的进行参数的调节，目前可支持最大精度为0.0005。在检测到效果更优的模型出现后，将其记录备份，并作为新一轮模型训练的base模型进行进一步的迭代优化。同时也会将新的模型更新到数据召回模块中的目标模型部分，来优化下一次召回的数据质量。
语言模型优化：重排序
在重排序框架中，ASR服务输出的N-best序列及其对应模型分数，接着我们将N-best序列输入到预先训练好的LSTM语言模型中得到语言模型得分，然后将N-best序列及其对应得分、lens等特征输入重排序模型中打分，最后选取打分最高的序列作为输出。本质上重排序模型的作用在于通过LSTM语言模型去学习如何判断ASR服务的识别结果是否正确，并通过打分对其进行重新排序，从而获得更好的识别效果。
文本数据回流
在很多业务场景中，文本数据是慢慢通过线上模型对业务实际场景音频的解码和置信度筛选不断累积的，因此我们构建了一个支持定期拉取业务数据更新语言模型的周期任务。在该任务中，系统定期从数据云服务中拉取回流的数据对线上模型进行迭代训练，以保持ASR服务对最新业务场景的鲁棒性。
效果
在滴滴夸项目中，我们使用自学习平台定制周期性数据回流-模型迭代任务，每周定时从MySQL服务中拉取线上回流数据更新线上服务语言模型。经过2～3个月模型迭代，滴滴夸ASR服务字准从80%提升到90%，效果显著。
在D1定制车项目中，我们使用后处理服务和模型自训练服务对线上ASR服务进行个性化的定制及优化。经过多轮测试和优化后，语音交互成功率从80%提升至95%以上。