判断蜘蛛有没有抓取,从表面上看,可以看到快照是否更新,但有时候快照不更新,蜘蛛也是有抓取过网站的,我们要如何判断呢?
百度蜘蛛的三大类的基本工作情况:http://www.yixiin.com/sell/
快照蜘蛛:顾名思义就是说专门给你网页拍照的蜘蛛。IP结尾的75的就是快照蜘蛛,它来到你网站越多越好,为什么?不解释了。
IP结尾的89的蜘蛛,我们称为高权重的蜘蛛,但是它的权重没有IP86结尾的高,但是权重也是非常不错的。
前面我们说道最常见的就是220.181.108.*。内容已经解释过了就不在解释了,主要的蜘蛛【220.181.108.86】它抓取的网页权重是最大的,如果说这个蜘蛛在你的网页上返回正常的话,说明你的网站问题不大,如何抓取的时候返回数据库有其他的数值的话,说明网站问题就很大了,一定要注意。
接下来就是:94,97,80,83,z这些蜘蛛都是高权重的蜘蛛,它们的权重是依此递减的。剩下来的就是普通的蜘蛛了,它们会抓取新的网站的内容,返回数据库的值有200的话,一般情况下,会在24到40小时至内会被放出的。如果现实304的话,就说明此网站有待考察。http://www.yixiin.com/sell/