python爬虫之多线程、多进程爬虫

多线程对爬虫的效率提高是非凡的,当我们使用python的多线程有几点是需要我们知道的: 1.Python的多线程并不如java的多线程,其差异在于当python解释器开始执行任务时,受制于GIL(全局解释所),Python 的线程被限制到同一时刻只允许一个程执行这样一个执行模型。 2.Python的线程更适用于处理I/O和其他需要并发行的阻塞操作(比如等待