1. 首页
  2. 编程语言
  3. Python
  4. 基于Python scrapy redis的分布式爬虫实现框架

基于Python scrapy redis的分布式爬虫实现框架

上传者: 2023-02-01 18:14:26上传 ZIP文件 24.66KB 热度 14次
爬虫python入门scrapyredismongodb基于Python scrapyredis的分布式爬虫实现框架project start运行run.pyscrapynews.py主要功能是抓取种子url保存到redis redis mongo.py主要是从redis里面读url解析数据保存到mongodb拓展到其他机器都是从redis里面读url
下载地址
用户评论