1、需要提交的表单中的链接
搜索蜘蛛不会试图“提交”表单,因此只能通过表单访问的内容或者链接对搜索引擎是不可见的。甚至对于用户登录,搜索框或者某些下拉列表这样的简单表单也是如此。
2、难以解析的Javascript中的链接
如果在链接中使用了Javascript,你可能会发现搜索蜘蛛不进行爬行,或者给嵌入的链接很低的权重。
3、Flash、Java或者其他插件中的链接
嵌入Java和插件中的链接对搜索引擎不可见。理论上,搜索引擎在检测Flash链接方面正在取得进展,但是不能抱太在的希望。
4、PowerPoint和PDF在的链接
5、指向被元标记robots、rel=”NoFollow”或者robots.txt屏蔽的链接
6、具有成百上千个链接的页面
建议每个页面不超过100个链接,超过这一限制,蜘蛛可能会停止爬行页面上的其他的链接。这一限制有一定的弹性,特别重要的页面可能达到150到200个链接。但一般来说,不超过100个链接还是明智的选择。
7、框架和iframe中的链接