网络蜘蛛Larbin的设计和优化.kdh

网络蜘蛛Larbin的设计和优化，Larbin是利用c++开发的一种网络爬虫,由法国人SebastienAilleret发布,因此它是开源的(基于GPL标准)。Larbin最初开发出来是为了XYLEME工程。Larbin的目的是在网络上抓取xml页面,然后装入面向xml搜索引擎的数据库。由于这些原因,Larbin功能非常强大,而且也非常好配置。