NLP词向量介绍

全文均为笔者的理解,不权威也不一定准确,如有错误欢迎指正。 NLP的核心问题,就是学习不同语境下的语义表示,所谓的语义表示呢,就是以量化的方式来表示一个单词,即我们今天要说的——词向量。词向量作为一种预训练模型在NLP领域应用非常广泛,词向量可以看作是用来表达词的语义。在这个领域,一个重要的挑战为一个单词在不同的上下文里有可能表示不一样的语义,该如何解决这个问题呢?那就是加入了上下文信息来区分同一词的多个的意义。而词向量又是如何发展为能进行一词多义的语义消歧的呢,那就一起看看词向量的发展之路吧! 首先就是one-hot独热编码,它在单词对应位置为1,其他位置为0.如“我/今天/写/博客。”,其