在搜索引擎越来越重要的今天，了解搜索引擎的算法变得尤为有必要。搜索引擎的算法是一个繁复的过程，大致可分为三个步骤：蜘蛛爬行抓取、索引和排名运算。这篇文章主要是和大家一起探讨一下上边三个步骤中的第一个，即蜘蛛的爬行和抓取。这部分是搜索引擎工作的第一步，是搜索引擎用来进行数据收集的。http://www.yixiin.com/news/
一、如何吸引蜘蛛
我们可以看出，在实际操作中，蜘蛛并不是可以爬行和抓取所有页面的。那么这时候SEOer就要想尽办法吸引蜘蛛来抓取自己的页面来达到收录提高的目的。既然没有办法使所有的页面都被抓取，那么就要学会取舍——选择出最重要的页面让蜘蛛抓取。因为重要的页面将在下边的步骤——索引中起到重要的作用，它将会影响网站推广的排名。这些会在接下来的文章中进行讲解。那么在取舍中，如何区分哪些才是重要页面呢?这我们就要知道重要页面都有什么样的特征。
首先是网站和页面的权重。权重对网站的重要性不言而喻，高权重的网站会让蜘蛛有更高的爬行深度，也就代表更多的收录量。而质量高，时间长的网站往往就会代表着高权重。
其次是页面的更新度。蜘蛛的爬行比较“喜新厌旧”，它在每次爬行结束后都会储存好相关的页面数据，下一次爬行时如果发现这个页面和上一次收录的内容比并没有什么变化的话，那么蜘蛛默认页面没有更新，没必要再次爬行和抓取。反过来说，如果发现了页面的内容已经更新，那么蜘蛛就会默认这个页面需要更频繁地来爬行抓取，这样的话页面上出现了新连接就更容易地被蜘蛛跟踪抓取。这也是为什么一般网站都会要求每天更新文章。
第三是导入链接。对于一个网站来说，无论是外链还是内链，想要被蜘蛛抓取，导入链接都是必不可少的，因为缺少导入链接会让蜘蛛找不到页面。这时就会凸显出URL链接的重要性，同时，内链的重要性也需要被重视。除此之外，好的导入链接也有助于让蜘蛛的爬行深度增加。这同时也解释了为什么高质量的友链会被重视，因为这能提高蜘蛛从对方网站爬到你的网站的次数，同时提高深度。
最后是与首页的点击距离。一个网站的首页往往是最重要的，它不仅仅是权重最高的页面，同时也是很多外链都会指向的页面。而在蜘蛛方面，它最经常访问的页面也是首页。网站其他页面中，点击距离离首页越近，页面往往权重就更高，蜘蛛爬行的概率也越大。这也是大部分网站都要求三次点击就能查看网站所有网页的原因。
二、如何追踪链接
搜索引擎蜘蛛为什么会叫这个名字呢?这是因为搜索引擎蜘蛛为了可以更多地抓取页面，而去追踪网页上的链接，像一个蜘蛛在自己结的网上的爬行方式一样，由一个页面爬向下一个页面。
在整个互联网中，所有的网站都是可以相互链接的，换句话说，你从任一网页开始点击，最后都可以找到所有页面。但是由于网站和页面之间的结构并不是十分有章可循，因此蜘蛛必须有特别的方法才能遍览所有的页面。这其中有两种方法最为简单：一种是深度网络推广营销优先，另一种是广度优先。
深度优先的含义是蜘蛛顺着一个链接一直向下走，走到再没有链接可执行时回到第一个页面，回来之后再顺着另一个链接走下去。
广度优先的含义是蜘蛛在最初发现第一层链接之后并不向下爬，而是把这层上所有的链接都走一遍，然后再到第二层将第二层的链接走一遍，再去第三层，以此类推。
我们可以看到，上边的两种方式中，无论哪种，蜘蛛都是可以遍历所有的链接的，也就是说蜘蛛在理论上是可以爬完整个互联网的。但在实际中，由于带宽资源、时间等因素的限制，蜘蛛没有办法真正爬完所有页面。即使是最大的搜索引擎也只能收录一小部分的互联网。http://www.yixiin.com/photo/
三、关于蜘蛛
蜘蛛又叫机器人，是搜索引擎用来爬行和访问页面的程序。蜘蛛访问网站页面的原理类似于用户使用浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。一般的搜索引擎都会选择使用多个蜘蛛进行爬行和抓取，以便提高速度。
当蜘蛛在一个网站上进行爬行时，首先会读取根目录下的robots.txt文件。一旦发现文件禁止网站的某些页面或内容是禁止被抓取的，那么蜘蛛将根据协议不对这些内容进行抓取。蜘蛛爬行的痕迹并不是无法看见，因为蜘蛛也有着属于自己的代理名称，因此大部分的站长在解决问题之前都会要求先看网站日志。(如果想成为一个优秀的网络推广营销SEO，必须具备独立查看网站日志的能力，而不是依赖各种软件，并且，对代码的含义也要非常了解。)
