website scrap engine:打字稿中可配置的网站抓取工具 源码

网站报废引擎 可在打字稿中配置网站抓取工具。 特征 资源类型 可配置的流程管道 选项 记录仪 并发下载器 多线程处理(使用本机worker_thread) 处理CSS 处理HTML 处理SiteMap(但不替换其中的路径) 可配置的日志记录 多线程处理 注意:仅当您的进程对CPU敏感时才使用多线程处理。 主螺纹 队列中的资源下载 下载后的处理 将二进制资源保存到磁盘 将其他资源发送到工作线程 从工作线程中排队非重复资源 工作线程 从主线程接收下载的资源 下载后的处理解析html,css等 收集参考资源 下载前处理和过滤参考资源 发送参考资源到主线程 节省资源到磁盘 管道生