面对互联网日美容心得益膨胀的数量信息，各种新闻、视频、图片、文字的爆炸式增长，搜素引擎蜘蛛如何面对互联网日益增长的数据呢?以及我们的网站如何才能更有利于搜索引擎的抓取呢?很多站长和SEO学习者，都为了做网站排名、关键字优化，那搜素引擎蜘蛛是如何识别网站主题，以及靠什么给网站排名的呢? http://www.yixiin.com/photo/
搜素引擎抓取网站页面主要靠的是蜘蛛程序也就是我们常说的爬虫。不同的爬虫分工意义不一样，常见的爬虫有通用爬虫和聚焦爬虫，两者紧密联系却又有所区别。
通用爬虫：从一个或若干初始网页url路径开始，水烟壶在获取初始页面url路径的同时不断抓取页面上的url路径地址，并将抓取页面的url路径地址放入队列。
聚焦爬虫：自动下载页面程序，根据特定的目标，有选择性的访问互联网页面的目标链接，获取页面信息。聚焦爬虫特定：不追求大而广的覆盖，需要根据网页分析算法过滤与主题无关链接，并将链接放入url队列中等待抓取，并根据搜索引擎索引策略从队列中选择下一步抓取的页面，聚焦蜘蛛的意思在于抓取目标主题内容相关的网页，为用户提供目标主题所需要的数据资源。
网站优化最重要的是关键字，而关键字就是网站主题和灵魂，很多网站连自己的网站灵魂(主题)都不清楚，那么搜索引擎蜘蛛如何对网站如何进行抓取，进行分类，如何进行排名呢?这也是我们要选择好关键字，因为关键字才是排名的主要因素，才是网站的主体和核心。http://www.yixiin.com/brand/
