1. 首页
  2. 编程语言
  3. Python
  4. 一款以图形化流程定义爬虫的新一代爬虫平台,无需编写代码也能完成爬虫任务

一款以图形化流程定义爬虫的新一代爬虫平台,无需编写代码也能完成爬虫任务

上传者: 2023-07-24 09:18:30上传 ZIP文件 1.78MB 热度 11次

该平台以流程图的方式定义爬虫,支持Xpath/JsonPath/css选择器/正则提取/混搭提取,同时又支持JSON/XML/二进制格式的数据处理。具备多数据源的支持,能够执行SQL查询操作,并且支持爬取JS动态渲染页面以及ajax请求。还能够自动保存至数据库或文件,并提供了常用的字符串、日期、文件、加解密等函数。支持插件扩展,包括自定义执行器和自定义方法。平台还提供任务监控和任务日志功能,支持HTTP接口和Cookie自动管理,并且用户可以自定义函数。

下载地址
用户评论