搜索引擎内部排名处理过程解析
上次漳州网站建设为大家介绍了搜索引擎抓取页面的过程,今天要为大家带来的是搜索引擎在后台处理蜘蛛抓取过来的页面的过程。经过搜索引擎蜘蛛抓取页面,索引程序计算的到倒排索引后,搜索引擎就准备好可以随时处理用户搜索了。用户在搜索框填入关键词后,排名程序就调用索引数据库,计算排名,显示给用户,排名过程就是与用户直接互动的。下面是搜索引擎后台处理排名的几个步骤。
1、搜索词处理,这个过程中包含了:中文分词、去停止词、指令处理、拼写错误矫正、整合搜索触发等过程。
2、文件匹配。搜索词经过处理后,搜索引擎得到的是以词为基础的关键词集合。文件匹配阶段就是找出含有所有关键词的文件,而在索引部分提到的倒排索引使得文件配额陪能够快速完成。
3、初始子集的选择。找到包含所有关键词的匹配文件后,还不能进行相关性计算,因为找到的文件经常会有几十万几百万甚至上千万个,要对那么多文件实时进行相关性计算所需要的时间还是比较长的。所以搜索引擎只需要计算前1000个结果的相关性,就能够满足要求,搜索引擎通常会用非相关性的页面特征选出一个初始子集进行相关性计算。
4、相关性计算。选定初始子集后,对子集集中的页面计算关键词的相关性。计算相关性是排名过程中最重要的一步。相关性计算是搜索引擎算法中最令SEO感兴趣的部分。
5、排名过滤及调整。选出匹配文件子集、计算相关性后,大体排名就已经确定了。之后搜索引擎可能还有一些过滤算法,对排名进行轻微调整,其中最主要的过滤就是施加惩罚。一些有作弊嫌疑的页面,虽然按照正常的权重和相关性计算排到前面,但搜索引擎的惩罚算法却可能在最后一步把这些页面调到后面去。
6、排名显示。所有排名确定后,排名程序调用原始页面的标题标签、说明标签、快照日期等数据显示在页面上。有时搜索引擎需要动态生成页面摘要,而不是调用页面本身的说明标签。
7、搜索缓存。如果每次搜索都重新处理排名可以说是很大的浪费。搜索引擎会把最常见的搜索词存入缓存,用户搜索时直接从缓存中调用,而不必经过文件匹配和相关性计算,大大提高了排名效率缩短了搜索反应时间。