法一、引诱蜘蛛爬页面
蜘蛛访过网站的次数能侧面反响出网站自身的权重,普通小网站单个蜘蛛每日来访的次数约略在几十次。假如高于几十次,那么申说经过链接爬行到职通天下网站上的次数较多,那么抓取收录的机缘便会大一点,终极对名次也是有积极的影响。http://www.yixiin.com/photo/假如每日来访一两次甚而零次,那么网站十分危险。我们要做好站内页面之间的链接,让蜘蛛多爬些页面,这样就能抓取理多的页面。
方法二、删除404页面
每个网站或多或少的都有404不对页面,有时是空间上本身问题,有时是自身网站的设置问题,有时是外部网站存在外部链接的问题,从日记中一朝发现,就应当马上调试。若是抓取某个url404出奇多的话,需要在网站上开办这么一个url页面,管用的利用,也可以修改robots文件赋予屏蔽。大量的404不对会被蜘蛛记录下来,对网站是减分印象,所以会从群体上减低网站的权重。
方法三、依据抓取规律来调试
在职通天下网站日记中,都能清楚的看见页面的抓取排行,url的抓取排行,这些排行最能直接的反响网站的那些局部是最受蜘蛛欢迎的。假如出现了众多css或js的文件都被大量的过访,那么页面中这么的链接就大大浪费了权重,所以需要修改robots文件赋予禁阻。http://www.yixiin.com/photo/查看职通天下网站日记,能表面化的看见那些被过渡抓取,那些重点内容抓取的较少,这么打量然后就能做到心中有数,可以有的放矢。