SFFAI 24 | 罗玲：From Word Representation to BERT 发表于 2019-04-28 分类于 🌙进阶学习 ， ⭐讲座 阅读次数： Valine： 本文字数： 249 阅读时长 ≈ 1 分钟本次分享主要是通过简要介绍预训练词向量研究历程(word2vec，glove，ELMo等)，重点介绍BERT的主要贡献。作为刷新GLUE榜单11项NLP任务（句子关系判断，分类任务，序列标注任务等）成绩的预训练模型，BERT不仅沿袭将词向量和下游任务结合在一起实现上下文相关的优点，并且通过masked语言模型实现了真正的深度双向模型。这使得BERT不仅能更好的处理sentence-level的任务参考资料https://www.bilibili.com/video/BV1Z4411b7dc/