基于Python与spimi的新闻搜索引擎设计与实现详解

1绪论1.1研究背景与意义1.2国内外研究现状1.3主要工作内容及章节安排2搜索引擎相关技术介绍2.1 Python爬虫技术2.1.1 python 2.1.2爬虫概述2.2结巴分词2.3 SPIMI构建索引算法2.4计算两两新闻之间余弦相似度2.5 BM25公式进行打分排序2.5.1检索概率模型BM25公式2.5.2 BM25聚类算法2.6 Flask 2.7文本预处理2.7.1中文文本分词2.7.2去停用词2.7.3文本向量化2.8小结3搜索引擎具体实现3.1课题内容实现3.2新闻爬虫实现3.2.1新闻数据来源3.2.2爬虫基本架构3.3构建索引实现3.4推荐阅读实现4实现效果展示4.1系统主页展示4.2搜索结果展示4.3词条正文展示4.4推荐阅读展示5总结与展望参考文献致谢