【Scrapy爬虫框架】{0} ——Scrapy爬虫框架介绍

参考资料:Python网络爬虫与信息提取(北京理工大学慕课) Scrapy是什么? Scrapy是一个功能强大并且非常快速的网络爬虫框架,是非常优秀的python第三方库,也是基于python实现网络爬虫的重要的技术路线。 Scrapy的安装: 直接在命令提示符窗口执行pip install scrapy貌似不行。 我们需要先下载需要的组件Twisted,然后再安装,下载地址在这里。 下载完就是这个东西: (有可能你下载的是其他版本,反正适合自己电脑的操作系统就对了) 然后我们打开命令提示符窗口(也就是平常所说的cmd),然后执行 pip install S:\Python\Twist