Scrapy爬虫入门(一)—爬取猫眼榜单

安装Scrapy pip3 install scrapy 新建工程 scrapy startapp maoyan 目录结构 scrapy.cfg:配置文件 spiders:存放你Spider文件,也就是你爬取的py文件 items.py:相当于一个容器,和字典较像 middlewares.py:定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现 pipelines.py:定义Item Pipeline的实现,实现数据的清洗,储存,验证。 settings.py:全局配置 定义Item 修改items.py,