搜索引擎

对等分布式爬虫(Peer to Peer)1

在对等式分布爬虫的体系中,服务器之间不存在分工差异,每台服务器承担相同的功能,各自负担一部分URL的抓取工作,如下图即是其中一种对等式分布爬虫,Mercator爬虫采用此种体系结构.

由于没有URL服务器存在,每台抓取服务器的任务分工就成为为问题。体系结构下,由服务器自己来判断某个URL是否应该由自己来抓取,或者将这个URL传递给相应的服务器。至于采取的判断方法,则是对网址的主域名进行哈希计算,之后取模(即hash[域名]%m,这里的m对应服务器个数),如果计算所得的值和抓取服务器编号匹配,则自己下载该网页,否则将该网址抓发给对应编号的抓取服务器。

对等分布式爬虫(Peer to Peer)1

以上图的例子来说,因为有3台抓取服务器,所以取模的时候m设定为3.图中的1号抓取服务器负责抓取哈希取模后值为1的网页,当其接收到网址www.xycseo.com时,首页利用哈希函数计算这个主域名的哈希值,之后对3取模,发现取模后值为1,属于自己的职责范围,于是就自己下载网页:如果接收到网址www.baidu.com,哈希后对3取模,发现其值等于2,不属于自己的职责范畴,则将这个要下载的URL转发给2号抓取服务器,由2号抓取服务器来进行下载。通过这种方式,每台服务器平均承担大约3分之一的抓取工作量。

由于没有URL分发服务器,所以此种方法不存在系统瓶颈问题,另外其哈希函数不是针对整个URL,而只针对主域名,所以可以保证同一网站的网页都由同一台服务器抓取,这样一方面可以提高下载效率(DNS域名解析可以缓存),另外一个方面可以主动控制对某个网站的访问速度,避免对某个网站访问压力过大。

就上上图所示,这种体系结构也存在一些缺点,假设抓取过程中某台服务器宕机,或者此时新加入一台抓取服务器,因为取模时m是以服务器个数确定的,所以此外m值发生变化,导致大部分URL哈希取模后的值跟着变化,这意味着几乎所有任务都需要重新进行分配,无疑会导致资源的极大浪费。

不好意思,是我打扰了这个世界,在撑一撑我就走

不好意思,是我打扰了这个世界,在撑一撑我就走。