10个线程的Python多线程爬虫(采集新浪数据).rar

一个Python多线程爬虫，在工作时，开10个线程来抓取新浪网页的数据，抓取并保存页面,并且根据deep返回页面链接，根据key确定是否保存该页面,其中: 　　deep==0时，是抓取的最后一层深度，即只抓取并保存页面，不分析链接 　　deep>0时，返回该页面链接。 　　编写本采集爬虫的具体要求：1.指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 　　2.程序每隔10秒在屏幕上打印进度信息 　　3.支持线程池机制，并发爬取网页 　　4.代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点 　　5.需要自己实现线程池 　　功