百度很高调的推出了百度有啊购物平台，立志成为最好的电商平台，成了淘宝的直接对手，面对如此强大的对手，马云必须在其扩大之前消灭他，屏蔽百度收录淘宝可以导致消费者在购物之前不会在百度中搜索产品类名称，比如牛仔裤、休闲裤、连衣裙等，因为淘宝已经强大到让消费者把淘宝和网购这两个词等同的地步，当用户不再百度上面搜索产品名称，那么百度就将失去网购这块市场。事实证明马云的这招很成功，让百度失去了网购市场，打败了百度有啊，百度有啊不久就接近关闭状态了。http://www.yixiin.com/news/
淘宝的robots协议：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
百度百科对robots的定义：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。简单来说就是网站和搜索引擎签署的一个协议，协议里面的路径不要抓取收录。
为什么要有robots协议
Robots协议也就是robots.txt文本文件，当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt。如果存在，搜索爬虫就会按照该文件中的内容来确定访问的范围；如果robots.txt文件不存在，搜索爬虫将会抓取网站上所有没有被口令保护的页面。
网站里面有低质量、死链接内容这样的建议屏蔽，百度如果抓取你的好多低质量页面会拉低网站的质量降低权重影响搜索引擎对你网站的印象，比如男女开始谈对象都会把不好的一面藏起来，还有网站后台会员隐私一般都屏蔽。
robots协议写法
User-agent 描述搜索引擎的蜘蛛的名字
Disallow 描述不想被访问的路径
Allow 指示想被抓取的路径
"*" 通配符，表示匹配所有
"$" 结束符号
Sitemap 网站地图路径
网站的robots协议是一个txt文本文件，robots.txt文件写好后要放到网站的根目录，可以通过访问路径：你的域名/robots.txt来检查正确性，可以在百度的站长平台检查协议正确与否，同时把网站地图路径加进去最好，有利于蜘蛛爬去和收录您的网页。
Robots协议书写注意事项
robots协议里的面首字母要大写，字母后面的冒号必须是英文状态；
冒号后面"/"之前还有空格，在"/"后面如果只是屏蔽某个特定路径，千万不要再有空格,否则搜索引擎就会认为你是屏蔽整个网站。
如果希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
这里区别一下“Disallow: /aaa/'和"Disallow: /aaa"，前者这是屏蔽了aaa后面的路径不被蜘蛛抓取到，而后者则表示连同aaa这个路径也被屏蔽掉。
http://www.yixiin.com/news/201804/yxw1422215.html
http://www.yixiin.com/news/201804/yxw1422214.html
http://www.yixiin.com/news/201804/yxw1422213.html
http://www.yixiin.com/news/201804/yxw1422212.html
http://www.yixiin.com/news/201804/yxw1422211.html
