首先说明，这是一篇转自网络上的文章，我对这篇文章看了很多遍，觉得文章主人说的都很合理，认为这篇文章对我们新手站长在了解spider的爬行规律之后能够更好的写一些迎合spider所钟爱的内容，从而加速网站的收录以及SEO效果。http://www.yixiin.com/news/
在圈子里有一句笑话是说站长每天早上起床第一件事是什么?答案是查百度收录、看快照时间、看排名!虽然有些夸张，却也非常形象地说明了站长对网站在百度搜索中优化情况的重视程度。在这些要素之中，网站快照、排名、收录数量共同构成了一个网站的优化效果，反映出网站在搜索引擎之中占据的“分量”也就是我们常说的“权重”如何。权重越高，越容易带来更好的优化效果。提升网站优化效果能够获得更多的搜索流量，也就意味着更多的用户和潜在的收益来源!下面我们就从百度spider(百度蜘蛛)的工作原理来看如何提升网站的整体优化效果。
一、从百度spider的“职责”看如何让其频繁“光顾”
百度spider实际上就属于一种自动运行的机器人程序，它的任务就是和网站服务器建立连接之后，抓取网站的内容页面，事实上是下载网站的内容数据到百度的服务器之中。通俗些说，百度spider就是为百度广泛搜罗各种互联网中存在的信息，存储起来经过筛选向用户提供相关的搜索结果。明白了它的工作职责，要想让其更加频繁，保持至少一天一次的频率来光顾网站，需要的就是不断丰富和填充网站的内容，用不断更新的新鲜内容来吸引它，使网站成为为百度提供信息来源的一个“供应商”。
二、从百度spider抓取页面的优先度看如何获得更佳收录
百度spider在抓取互联网中数量“多如牛毛”的网站内容时，会遵循“深度优先”和“广度优先”的原则，它会首先从一些“起始站点”，往往就是那些质量高、权重高的大型门户资讯网站开始抓取，把抓取来的内容存储到百度服务器之中，再进行进一步的筛选，最终决定最后放出来的收录页面。因此，你的网站注定要被拿来与一些“大站”的内容进行对比，同样的内容如果出现在大型站点和个人站点上，自然会优先放出大站点的收录。这就告诉我们要想使内容更好地被收录并放出来，创造低重复率、高质量的原创内容是关键!
三、从百度spider抓取内容的筛选机制看如何提高权重和排名
在百度spider抓取完网站内容之后，这些被抓取的内容会被存储到百度不同的服务器之中，分为“检索区”和“补充数据区”。“检索区”是指已经根据百度那套复杂的算法进行过计算之后，筛选出来的内容，就是用来响应用户的搜索，匹配之后提供给用户的。而“补充数据区”就用来存放新抓取的内容，等待经过算法计算和检验筛选的内容。因而，对于一般的中小网站来说，被抓取的内容往往是被放入到“补充数据区”，要想从中快速提升权重，在更短的时间内顺利进入到“检索区”，需要按照百度的算法规则，利用更多数量、更高质量的反向链接来提升网站的权重和排名，这也是我们常说的单向、高质量外链的作用!一旦提升了权重，那么就意味着被收录的内容会更快地进入“检索区”，提供给搜索用户了。
四、从百度spider对网页重要性的评估方法看如何引导其抓取和收录 http://www.yixiin.com/news/list-1838.html
在百度spider的抓取过程之中，它会对网站的各个不同页面的重要性进行评估，具体的方法就是衡量不同的页面所获得的指向数量。例如，有越多的页面指向某个页面，包括网站首页的指向，父页面的指向等等都能提高该页的权重，从而使spider了解到不同页面所具有的不同重要性，进而有区别地进行对待，优先抓取重要性高的页面。因此，要做好网站内部的链接优化，对于一些质量高、内容丰富的页面要给予更多的指向链接，使spider能够快速找到这些高重要性的页面并及时抓取。同时，善于利用网站地图这一工具，它能为百度spider提供索引和指向，使其更快、更顺利地了解网站的各个页面结构及其重要性，从而大大提升网站对于搜索引擎的友好度，有利于网站获得更好的抓取与收录等。
综上所说，看似简单的百度spider对网站进行爬行和抓取的背后，其实隐藏着百度独特的一套运行机制和算法体系，只有做到了对这些“门道”有了更加清楚和深刻的理解之后，才能在对网站的优化过程中，特别是网站日常的建设过程中，做到“有的放矢”，按照其喜好的“牌理”出牌，让网站在搜索引擎优化中获得更佳的结果!
