弧度SEO网站优化技巧.网络源码程序分享

当前位置:首页 > SEO技术分享 > ·

关于蜘蛛的误区

蜘蛛也搜索引擎派出的智能机器人或叫爬虫,作用就是爬行和访问网站页面,只有蜘蛛爬到网站页面才能判定质量页面或者URL然后才能被索引和参与排名。

 
关于蜘蛛的误区
  而人们对于蜘蛛的误区集中在“降权蜘蛛”。由于蜘蛛抓取的网页太多,如果只有一只蜘蛛进行抓取作业,需要的计算量太大,同时也会耗费太多的时间。所以搜索引擎引进了分布式计算的概念,把庞大的抓取作业分割成多个部分,使用合理计算的服务器承载这一任务,完成对网页的快速抓取。现在大型搜索引擎都使用分布式计算技术,同样,蜘蛛也会进行分布式计算,这种蜘蛛就是分布式蜘蛛,它遵循分布式计算的主要规则,根据这些规则也就可以理解“降权蜘蛛”的工作方式。
 
  整个分布式蜘蛛系统要保证所有的蜘蛛不能重复抓取,就要使每个蜘蛛都有自己抓取的范围,抓取指定类型的网页,而常规网页一般按照质量等级分为优秀站点、普通站点、垃圾站点、降权站点和屏蔽站点等。
 
  按照这种分类方式,会出现某一IP段的蜘蛛只会抓取权重高的网站,某一IP段的蜘蛛只会抓取已经被降权的网站,这就是“降权蜘蛛”,不过并不是因为这只蜘蛛使得网站降权,而是因为网站已经被百度降权,这只所谓的“降权蜘蛛”才会出现。如果百度真的使用这种分布方式,那么对于百度蜘蛛IP段特性的总结就是很有价值的,不过还是不能非常肯定,因为百度分配任务的方式不可能只有这一种。由于搜索引擎对网站及网页的分类有多个纬度,每次抓取都可能会使用不同的纬度,多个纬度的出现,导致了问题的不确定

版权保护: 转载请保留链接: https://www.huduseo.com/seojs/60.html

1 条回应

注册为本站用户,登录后才可以发表评论!

  1. 6662019-6-21 · 3:07

    长沙弧度SEO轻博客,陪你看看SEO优化区块!长沙SEO【网站优化技术】_长沙网络推广_长沙弧度seo网络公司