node tarantulaNodeJS网络爬虫工具
节狼蛛nodejs crawler/spider,它提供了一个简单的接口来爬取网络。它的API受到了启发。
快速示例:
var brain = { legs: 8, shouldVisit: function(uri) { return true; } };
var tarantula = new Tarantula(brain);
tarantula.on('data', function(uri) { console.info('200', uri); });
tarantula.on('done', function() { console.log('done'); });
tarantula.start([\"http://example.com\"]);
下载地址
用户评论