snoics reptile 网页爬虫2.0
1、snoics-reptile是什么?
是用纯Java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的URL入口,
把这个网站所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地,包括网页和各
种类型的文件,如:图片、flash、mp3、zip、rar、exe等文件。可以将整个网站完整地下传至
硬盘内,并能保持原有的网站结构精确不变。只需要把抓取下来的网站放到web服务器
(如:Apache)中,就可以实现完整的网站镜像。
2、现在已经有了其他的类似的软件,为什么还要开发snoics-reptile?
因为
下载地址
用户评论
不是太好用,一般吧
不是很好,用折腾了很久,放弃
挺好的。。只是都是乱码。。可能还需要修改。
东西是可以用,但是有问题
工具不好用,基本抓不到东西。
不能用啊,什么情况,莫非是调试错误么???
不怎么好用。。。。全是乱码,页面抓的也不全
比较旧了,推荐用Java的heritrix或者linux下的larbin,这两个爬虫个人和公司都有用,而且文档丰富
没配起来,谢谢分享
学习一下,多我而言用处不大