1.避免网站存在重复页 不少网站一个内容提供多种浏览版本，虽然在很大程度方便用户，提高了用户体验度，可对蜘蛛却造成了些许困难，因为蜘蛛难以识别主次，一旦让它认为你在恶意重复，那么轻则降权，重则K站拔毛呀。 User-agent： * Disallow： /sitemap/ 《禁止蜘蛛抓取文本页面》http://www.yixiin.com/news/ 扩展阅读：《惠州SEO博客K站之谜》 (叶剑辉也曾在博客上线之初也因类似问题而被k，具体可看链接)
2.保护网站安全 或许有些人会有大大的问号。robots与网站安全怎么就拉上关系了?这就要说到黑客了，不少低级黑客就是通过搜索默认后台登陆，以达到入侵网站的目标，因此安全不得不防呀。 User-agent： * Disallow： /admin/ 《禁止蜘蛛抓取admin目录下所有文件》 扩展阅读：《WordPress程序安全设置技巧 》(本人也曾遭受攻击，因此安全问题哪怕细节也不容忽视，具体可查看叶剑辉博客)
3.防止链接被“盗”用 一般盗链的并不多，可是一旦被搜索引擎“盗链”了，那么百兆宽带恐怕也吃不消呀，因此若非做图片网站，又想避免被盗链，那么即可进行屏蔽。 User-agent： * Disallow：.jpg$
4.提交网站地图 对于现在做网站SEO优化的朋友，都懂得做网站地图，可总会有那么些朋友不懂得去提交的，仅仅以为在网页上加个链接，便完事了。其实robots是具有提交这一功能的，一下以惠州SEO博客为例。 http://www.yixiin.com/sitemap/index-htm-mid-5.html
