1、网页上所有跟SEO相关的因素都用HTML表达出来,使用DOM进行特效控制。只要把所有跟SEO相关的因素使用HTML表达了出来,搜索蜘蛛就可以爬取到这段内容,进而收录这段内容或者根据其中的链接继续爬行,因为蜘蛛不抓取解析javascript脚本,所以使用DOM控制特效不会对蜘蛛抓取产生任何影响http://www.yixiin.com/ad/。如果你将需要爬行的链接通过变量赋值的方式依靠javascript脚本来显示的话,那么蜘蛛就无法获得链接的相关参数:锚文本、指向URL,如果你有不希望蜘蛛爬行的链接的话,将其写入javascript脚本变量是一个好办法。本项内容大家可以参考“javascript的tab切换”、“实例讲解一个不利于SEO的JS导航”这几篇文章。
2、如果有希望蜘蛛抓取的目标页面需要转向,不要使用javascript脚本进行跳转,因为这样做的话蜘蛛完全无法获取到目标页面的地址,采用noscript标记进行目标url指定是一个好办法,因为蜘蛛能够正确识别noscript标记,并且一般情况下不会对浏览器显示产生影响(除非你的浏览器屏蔽了脚本解释引擎)。本项内容大家可以参考“noscript的小用处”。
3、不要使用ajax来获取需要蜘蛛爬行的内容。ajax是一个好技术,尤其是在一些需要实时性要求比较高的系统中,可以很好的缓解服务器的压力,也可以实现需求时才查询取出数据内容,还可以对框架布局不产生影响,实现更炫的网页效果,但ajax的核心是通过javascript脚本来在需要时获取数据的技术,这样数据就不是在页面展示时就加载完成,那么就出现了第一项中所说的,蜘蛛获取不到这些内容,自然就无法抓取和爬行链接。http://www.yixiin.com/news/