用Python给文本创立向量空间模型的教程

这是因为它们不在同一词汇空间中。我们想要对每一个词频向量进行比例缩放，使其变得更具有代表性。现在仅仅接受这样一个事实：我们需要确保每个向量的L2范数等于1。你看到了，一个计数为1的词在一个向量中的值和其在另一个向量中的值不再相同。这意味着我们现在可以用反文档词频矩阵乘以每一个词频向量了。记住，Python中的一切都是一个对象，对象本身占用内存，同时对象执行操作占用时间。使用scikit-learn包，以确保你不必担心前面所有步骤的效率问题。这是因为scikit-learn使用一个Tfidf的改进版本处理除零的错误。