在搜索引擎优化(英文简称SEO)中，爬虫、机器人还有蜘蛛大体上讲的其实都是搜索引擎来你网站获取信息的一种行为，这些称谓其实都可以被我们所理解，本文就让我们统一用“爬虫”来称号他们。
http://www.wlchinahc.com/news/
爬虫是一种程序，或许是一段自动化的脚本，它在网上不断辛苦的跑到各个网站上去。爬虫经过它们所流览的网页上面的连接从一个URL地址爬到另一个URL地址。
干流查找引擎连续不断地将它们的爬虫派出去阅读宽广的互联网。爬虫首要找到各个页面，然后把页面上的文本和代码仿制并储存在它们宏大的索引服务器上，水烟批发这个进程叫做匍匐。这个宏大的索引，实践上就是一个包括查找引擎爬虫能够成功访问到的一切网站页面的数据库。该索引被用来作为当你查找时，能够非常疾速地得到一个成果的库房。当您在查找引擎上查找词并提交时，您实践查找的是查找引擎所索引的全部内容，而不是其时互联网的实践内容。
当然，网站建造中网页会发生改变。有时，网页和网站的改变周期非常短。除此以外，新的网站和网页随时都在疾速呈现。这也是为什么爬虫一直都在那里不断地匍匐，一遍又一遍地阅读网页，而且树立和更新查找引擎的索引信息。 爬虫看到的网页内容和通常的访问者看到的是彻底不一样的。若是您想检查爬虫看到的某个网页的内容是什么，您能够运用IE阅读器来访问它，然后按下Ctrl+A组合键，把内容仿制下来（就是爬虫看到的内容）。主页也是最重要的是，爬虫将它们爬过的每个页面的字和词组合起来。它们索引文本和连接。当您在查找框中输入一个词时，查找引擎尽量精确地找出和查找词组最匹配的网页。
建立sitemap，树立sitemap是协助查找引擎爬虫抓取网站的最简略的办法之一。sitemap是一个给爬虫供给网站内容的URL清单。sitemap中还包括了关于每个URL的附加信息，例如指定网页的比来更新时刻、更新频率，以及相对网站上其它内容的重要度等。
http://cn.yixiin.com/news/
sitemap所供给的信息能够协助爬虫更智能的抓取网站。需求注重的是，没有任何一家查找引擎确保sitemap所提交的URL都会被抓取或许被索引。sitemap关于那些不简略被直接阅读到的网站来说是非常有用的，请记住爬虫仅仅依据连接来爬取信息的，而通常情况下，这样的信息缺少连接接向。所以，任何网站优化（SEO）作业第一步的重要部分就是让爬虫更简略发现和匍匐您的网站。若是您的网站没被爬虫爬过，上海王室烟具它们也就不会树立关于您网站的查找引擎索引。连接和网站建造中精心设计的网页、节目与其他网站内容和节目之间树立桥梁。
