WebMaple:以webmagic为内核的分布式可视化爬虫框架参考webmagic avalon的架构目标是提供可分散分布的爬虫框架以及可视化的爬虫管理界面

Web枫 以webmagic为内核的分布式可视化爬虫框架,参考webmagic-avalon的架构,目标是提供可分散部署的爬虫框架,以及可视化的爬虫管理界面。 目前分为三个模块: maple-admin,为webmagic-avalon中的管理员中断,对应一个java进程。负责: 与多个worker通信,监听worker的幸存; 从工人处获得当前爬虫信息,并在前端页面展示; 调用worker的接口创建爬虫。 它是一个Springboot项目,可以直接打包上传到服务器并启动。 maple-worker,为worker承包商,对应一个java进程。一台机器上可部署多个worker。负责: 具体