1. 首页
  2. 行业
  3. 旅游
  4. 双结构网络中URL去重机制研究

双结构网络中URL去重机制研究

上传者: 2020-09-03 22:46:36上传 PDF文件 1.12MB 热度 12次
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署。实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用。
下载地址
用户评论