搜索引擎

对等分布式爬虫(Peer to Peer)2

为了解决哈希取模的对等式分布爬虫存在的问题,UbiCrawler爬虫提出了改进方案。即放弃哈希取模方式,转而采用一致性哈希方法(Consisting
Hash)来确定服务器的任务分工。

一致性哈希将网站的主域名进行哈希到这个数值区间。可以如图那样,将哈希值范围首尾相接,即认为数值0和最大值重合,这样可以将其看做有序的环状序列,从数值0开始,沿着环的顺时针方向,哈希值逐渐增大,直到环的结尾。而某个抓取服务器则负责这个环状序列的一个片段,即落在某个哈希取值范围内的URL都由该服务器负责下载。这样即可确定每台服务器的职责范围。如图显示其优势,假设2号抓取服务器接收到域名www.,经过哈希值计算后,2号服务器知道在自己的管辖范围内,于是自己下载这个URL,在此之后,2号服务器收到了www.x.com这个域名。经过哈希计算,可知是3号服务器负责的范围。于是将这个URL抓发给3号服务器。如果3号服务器死机,那么2号服务器得不到回应,于是知道3号服务器出现了状况,此时顺时针按照环的大小顺序查找,将URL转发给第一个碰到的服务器,即1号服务器,此后3号服务器的下载任务由1号服务器接管,直到3号服务器重新启动为止。

对等分布式爬虫(Peer to Peer)2

从上面的流程可知,即使某台服务器出了问题,那么本来应该由这台服务器负责的URL则由顺时针下一个服务器接管,并不会对其他服务器的任务造成影响,这就解决了哈希取模方式的弊端,将影响范围从全局限制到了局部,如果新加入一台下载服务器也是如此。

手如柔荑

手如柔荑,肤如凝脂,领如蝤蛴,齿如瓠犀,螓首蛾眉,巧笑倩兮,美目盼兮。