node crawler:适用于NodeJS +服务器端jQuery的Web CrawlerSpider ; ) 源码

适用于Node的功能最强大,最受欢迎和生产中的抓取/抓取软件包,祝您黑客愉快:) 特征: 服务器端DOM和自动Cheerio(默认)或JSDOM的jQuery插入 可配置的池大小和重试 控制率限制 优先请求队列 forceUTF8模式让爬虫为您处理字符集检测和转换 与4.x或更高版本兼容 这是 感谢 ,我们有了文档。 欢迎其他语言! 目录 开始吧 安装 $ npm install crawler 基本用法 var Crawler = require ( "crawler" ) ; var c = new Crawler ( { maxConnections : 10 ,