非自回归神经机器翻译是一种新兴的翻译技术。传统的自回归机器翻译模型是逐词产生译文的,每一步的译文单词的生成都依赖于之前的翻译结果,而非自回归模型对每个译文单词的生成独立建模,因此能同时生成整句译文,大幅提升翻译速度。
SFFAI 31 | 连政:端到端语音合成
如何使人机交互中机器的声音更具情感和表现力一直是一个重要的研究热点。不同于传统pipeline式的语音合成系统,端到端的语音合成方法凭借简练的模型结构,突出的性能获得了越来越多的关注,其中以wavnet, tacotron, tacotron2等最为著名。
SFFAI 31 | 黄健:语音情感识别
语音情感识别是对音频进行情感分类。从语音情感识别的情感特征提取和情感模型构建两个方面进行说明,并介绍一些经典的方法和模型。
SFFAI 27 | 高君宇:图神经网络在视频分类中的应用
SFFAI 27 | 纪厚业:Heterogeneous Graph Attention Network
异质图在真实世界无处不在,异质图的分析也是数据挖掘的热门方向。作者设计了一种异质图神经网络,同时在节点和语义级别利用注意力机制来对邻居信息和语义信息进行加权融合,进而学习到更加细致全面的节点表示。同时,通过对两层的注意力机制进行分析,所提模型具有较好的可解释性。
SFFAI 25 | 刘永成:Geometric Relation Learning in 3D Point Cloud Analysis
近年来,卷积神经网络(CNN)在图像这类规则数据的处理中获得了举世瞩目的成功,然而如何拓展CNN以分析点云这种不规则数据,仍然是一个开放的研究问题。对于点云而言,每一个点并非孤立存在,相邻的点形成一个有意义的形状,因此对点间关系进行深度学习建模非常重要。
SFFAI 24 | 马聪:NLP中的生成式预训练模型
本次分享将主要关注OpenAI在自然语言处理领域的两个预训练的工作GPT和GPT-2.0. 通过分析GPT的两个模型,重点探讨基于单向语言模型的NLP预训练过程对序列生成任务的作用以及利用预训练模型进行NLP多种任务无监督测试的方式和效果。GPT-2.0在机器翻译、问答系统、文本摘要等复杂任务上的性能展示出NLP预训练模型的强大功能以及其在自然语言序列生成中性能。
SFFAI 24 | 罗玲:From Word Representation to BERT
本次分享主要是通过简要介绍预训练词向量研究历程(word2vec,glove,ELMo等),重点介绍BERT的主要贡献。作为刷新GLUE榜单11项NLP任务(句子关系判断,分类任务,序列标注任务等)成绩的预训练模型,BERT不仅沿袭将词向量和下游任务结合在一起实现上下文相关的优点,并且通过masked语言模型实现了真正的深度双向模型。这使得BERT不仅能更好的处理sentence-level的任务