基于Abot的爬虫.rar

Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://github.com/sjdirect/abot对于爬取的Html，使用的分析工具是CsQuery,CsQuery可以算是.net中实现的Jquery,可以使用类似Jquery中的方法来处理html页面。CsQuery的项目地址是https://github.com/afeiship/CsQuery一.对Abot爬虫配置1.通过属性设置先创建config对象，然后设置config中的各项属性:CrawlConfigurationcrawlCo