基于 LDA 主题模型的短文本分类方法

针对短文本的特征稀疏性和上下文依赖性两个问题，提出一种基于隐含狄列克雷分配模型的短文本分类方法。利用模型生成的主题，一方面区分相同词的上下文，降低权重;另一方面关联不同词以减少稀疏性，增加权重。采用K近邻方法对自动抓取的网易页面标题数据进行分类，实验表明新方法在分类性能上比传统的向量空间模型和基于主题的相似性度量分别高5%和2.5%左右