1. 首页
  2. 行业
  3. 互联网
  4. base_spider.py

base_spider.py

上传者: 2020-08-06 15:40:44上传 PY文件 2.28KB 热度 16次
用requests封装的爬虫类,可以兼容get和post两种请求, 配置了代理, headers, cookie等功能. 可以根据实际情况进行继承使用. 在使用过程中, 英灵活使用重写和传参两种方法提高代码的可用性和可读性(如固定的cookie可以直接写到类的headers属性里, 变化的cookie可以从外部传参进来等.)
下载地址
用户评论