我来分享:爬虫程序只抓取首页处理办法_SEO优化_258商务网
推广 热搜: 广州  SEO  贷款  深圳    二手    贵金属  网站建设  机器人 

我来分享:爬虫程序只抓取首页处理办法

   2014-01-17 10:59:34 互联网258信息网7
核心提示:经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解
 经常看到有朋友说网站出现只抓取首页,其他的内页一个页面都不抓取的情况,那么这个情况是怎么回事呢?下面笔者来做一个详细的解答:

1、刚刚做好的网站

对于新新的网站,首页刚刚被收录,这时候网站的权重是极低的。就不要期望这么快收录内页了,这样的情况,是很正常的,一般最少过了一个月之后,其他的内页才会放出来。
制定一个详细的优化方案,定时更新,切记使用一些不正常的手法。

2、robots.txt文件、服务器限制

这是很多新手容易犯的错误,对robots.txt文件不是很了解,但是不设置又觉得自己降低了档次,所以就错误的填写,导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。

解决策略:检查robots.txt文件和服务器是否有限制,自己看不懂可以找别人帮你。

3、网站的自身布局

网站布局是不是混乱,导航布局是不是混乱,导航不清楚,主页有没有足够的链接指向内页。

处理策略:收拾网站导航,理顺布局,让网站导航更清晰明了,调用内页关键词到主页,增多一种“最新作品”、“作品引荐”等版块,添加内页入口。

4、网站内容质量和更新频率

网站内容质量应该是所有因素里面最重要的一个,也是收录不充分常见的缘由。试想一篇自己都看不下去的文章,百度又怎么会有所青睐呢?互联网发展到现在,已经是粘贴复制,抄袭山寨横行。百度为了提供良好的用户体验,对于复制抄袭的内容,坚持不收录的准则。同时网站的更新是不是具有规律性也非常重要。SEO管家中间:我们把百度蜘蛛比喻成一个人,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。那么爬虫程序根本就不想再来了。


解决策略:坚持有质量、有数量的定期更新网站内容,当然针对不同的行业更新的频率也不仅相同。

总结:一般新网站权重太低,出现这种情况很正常,老网站出现这种情况很可能是网站布局不合理。针对以上提出的几点现象,逐一排除,自会找出问题的根源。
 
反对 0举报 0 收藏 0 打赏 0
 
更多>同类资讯
推荐图文
推荐资讯
点击排行

网站首页  |  付款方式  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报
免责声明:本站所有信息均来自互联网搜集,产品相关信息的真实性准确性均由发布单位及个人负责,请大家仔细辨认!并不代表本站观点,258商务网对此不承担任何相关法律责任!如有信息侵犯了您的权益,请告知,本站将立刻删除。
友情提示:买产品需谨慎
网站资讯与建议:125493959@qq.com 客服QQ:2924917661点击这里给我发消息2924917661点击这里给我发消息