icrawler:提供了许多内置图像搜寻器的多线程搜寻器框架 源码

爬虫 介绍 文档: : 尝试使用pip install icrawler或conda install -c hellock icrawler 。 该软件包是Web搜寻器的微型框架。 通过模块化设计,它易于使用和扩展。 它很好地支持图像和视频等媒体数据,也可以应用于文本和其他类型的文件。 Scrapy重而有力,而icrawler小而有弹性。 使用此软件包,您可以专注于要爬网的内容,从而轻松编写多线程爬网程序,从而避免诸如异常处理,线程调度和通信之类的麻烦问题。 它还为流行的图像站点(例如Flickr)和搜索引擎(例如Google , Bing和Baidu)提供了内置搜寻器。 (感谢所