ASLP(Audio, Speech and Language Processing Group,音频、语音和语言处理组)位于西北工业大学,隶属于陕西省语音和图像信息处理重点实验室(SAIIP)。 ASLP小组成立于1995年。ASLP小组的使命是促进音频,语音和语言处理学科内的广泛学科的跨学科研究和教育。目前,ASLP集团的研究范围包括人机语音通信,语音和音频信号处理,视听处理,多媒体内容分析和检索。 在2011年,该组由三位正教授,一位副教授,四位兼职教授和三十多位博士和硕士生组成......

ASLP官网:

http://www.npu-aslp.org

ASLP Kaldi Github:

https://github.com/robin1001/kaldi-aslp/blob/master/README.md

 
 

ASLP Kaldi是对Kaldi的增强,增强的功能有:

nnet增强

  • Batch正则化
  • 标准LSTM、BLSTM without projection
  • 延迟(Latency)控制BLSTM
  • Warp CTC以及Eesen版本的CTC
  • Skip training & decode
  • 图网络(如多输入、多输出、add与拼接)
  • 行卷积
  • GRU
  • FSMN

语音端点检测(VAD)

在线识别

并行化增强

BSP(Bulk synchronous parallel,整体同步并行计算模型),又名大同步模型或BSP模型,由哈佛大学Viliant和牛津大学Bill McColl提出。

 
 

BSP的创始人是英国著名的计算机科学家Valiant,他希望像冯·诺伊曼体系结构那样,架起计算机程序语言和体系结构间的桥梁,故又称作桥模型(Bridge Model)。该模型使用了三个属性描述:模块(Components)、选路器(Router)和同步路障器执行时间L。

 
 

ASGD(Averaged Stochastic Gradient Descent)平均随机梯度下降

EASGD(Elastic Averaging Stochastic Gradient Descent,弹性平均梯度下降)

BMUF(Blockwise Model-Update Filtering)

https://www.microsoft.com/en-us/research/publication/scalable-training-deep-learning-machines-incremental-block-training-intra-block-parallel-optimization-blockwise-model-update-filtering/

陈凯,ICASSP 2016

小时的Switchboard-I任务和1860小时"Switchboard+Fisher")的大词汇量连续语音识别训练。我们在LSTM任务上实现了几乎线性的加速,而在DNN任务上实现了64个GPU卡,与在单个GPU上运行传统的基于mini-batch的SGD训练相比,识别精度不变。

 
 

借助盖房子这一比喻,关键点在于如何有效地整合工人的成果。每一个阶段工人完成工作之后,都需要将工作反馈给工头,依据反馈生成新的工作模型,然后工人依照新的工作模型,对新数据进行处理。然后不断迭代。但在这一过程中会涉及到沟通成本和有效整合的问题。

 
 

每一个工人给工头提交工作成果后,工头需要进行整合更新。如果工头缺乏大局观,只进行简单整合(Model Averaging),结果就不好。文中创造性地在整个流程中增加了一个模型更新滤波的步骤。在Model Averaging中,每一轮迭代只利用当前获得的信息更新模型,历史更新信息却被忽略了。因此,研究员们提出将每一轮模型更新的信息收集起来,以史为鉴,结合当前信息进行学习,这样一来能够保证每一轮的更新更为平滑,不会出现巨大的波动。使用这样的滤波方法后,最终生成模型的性能也大大提升。

 
 

来自 <https://www.msra.cn/zh-cn/news/features/parallel-training-20160322>

 
 

 
 

关键词检索

04-25 23:14