仿奇虎网仿大旗网蜘蛛系统

基于微软.net2.0C#+Sqlserver开发的多线程多任务的信息爬取系统。其设计思想完全仿造了奇虎网，仿造了大旗网的建站模式。能让您瞬间建立一个拥有庞大内容的行业门户网站。红蜘蛛单个任务您可以设定n层爬取源头，简单的配置、自定义线程、自动识别网址格式加上自动丢弃已爬取过的内容更是让您提高了工作效率。