MultithreadedScraper高效多线程Java爬虫工具
多线程网络爬虫大家好!我想通过以多线程方式完成爬行任务来加速爬虫任务的执行。这个简短的README将涵盖以下几个方面:如何使用、实施细则、假设条件。
使用Java(已使用JRE 1.6进行测试),您可以使用以下命令开始抓取:
// 第一个参数是URL
// 第二个参数是创建的最大线程数
java -jar /path/to/Scraper.jar http://www.google.com 40
实施细则:让我们快速浏览一下项目结构:
Scraper
│
└───src
└───Threading: 封装了**Thread**和线程间的通信机制。
下载地址
用户评论