Web数据模型以及获取、存储方法研究_北京大学硕士论文

Web上信息就像一条河流,从我们身边不停流过。已经有很多人认识到这些信息的价值,从而展开了对Web信息多方面的研究。本文阐述的内容就是基于这些研究,并希望能够对他人的相关工作带来方便。文章围绕的中心是Web数据的高效获取与存储,为此也专门研究了信息在Web上大量重复出现的现象和原因。 本文的主要内容包括: (1) 有关Web信息状况的一些统计数据,结合一些Web的基本概念,这些数据让读者对Web宏观上能有一些具体的认识。这是理解本文其他部分的基础, (2) 提出了同义主机的概念。在Web上有很多不同的域名代表着相同的主机,负责获取网页的系统如果不知道这种信息,就会重复的获取这台主机上的网页。这