首先会检查该http://www.yixiin.com/sell/网站的根域下是否有一个叫做 robots.txt纯文本文件，搜索引擎使用spider顺序自动访问互联网上的网页并获取网页信息。spider访问一个网站时，这个文件用于指定spider您网站上的抓取范围。您可以在您的网站中创建一个robots.txt文件中声明，该网站中不想被搜索引擎收录的局部或者指定搜索引擎只收录特定的局部。当您的网站包括不希望被搜索引擎收录的内容时，请注意需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
http://www.yixiin.com/com/aak01/
http://www.yixiin.com/com/sykfk02/
http://www.yixiin.com/com/asdk7/
http://www.yixiin.com/com/thrj01/
