scrapy中使用讯代理动态转发

scrapy源代码中查找http11.py文件,相对路径为: Lib/site-packages/scrapy/core/downloader/handlers/http11.py 找到下面内容,注释掉: if isinstance(agent, self._TunnelingAgent): headers.removeHeader(b’Proxy-Authorization’) 否则proxy-authorization会被去除,动态转发失效。 自定义下载中间件: class ProxyIPMiddleware(object): ”’ 随机更换代理ip ”’