很多人一向沉迷研究百度SEO算法，却不知道搜索引擎一向未变，接下来SEO分享搜索引擎的优化技术。

    搜索引擎习性众所周知的是：

    搜索引擎以为最有价值的：内容——社会化——用户体验——链接建造——SEO5大SEO最应该花精力的地方：可匍匐性——网站结构——内容层级结构——页面元素、内容创作——链接建造应该优化什么：

    质量——内容、链接、外观;信任——权威度、有用、资源;受欢迎程度——流量、回访、拜访、链接;及时性——当前、最新、相关搜索引擎的作业原理非常复杂，而简略的讲搜索引擎的工进程大体能够分红三个阶段。

    匍匐和抓取：搜索引擎蜘蛛经过盯梢链接拜访页面，获取页面HTML代码存入数据库。

    预处理：搜索引擎对抓取来的页面数据文字进行文字提取、中文分词、索引等处理，以备排名程序调用。

    排名：用户输入要害字后，排名调用索引库数据，核算相关性，然后按一定格式生成搜索成果页面。

    匍匐和抓取

    匍匐和抓取是搜索引擎作业的第一步，完结数据搜集使命。

    蜘蛛

    搜索引擎用来匍匐和拜访页面的程序被称为蜘蛛(spider)，也称为机器人(bot)。

    为了抓取网上尽量多的页面，搜索引擎蜘蛛会盯梢页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上匍匐那样，这也便是搜索引擎蜘蛛这个称号的由来。最简略的匍匐遍历策略分为两种，一是深度优先，二是广度优先。

    深度优化搜索

    深度优先搜索便是在搜索树的每一层一直先只扩展一个子节点，不断地向纵深行进直到不能再行进(抵达叶子节点或受到深度限制)时，才从当前节点回来到上一级节点，沿另一方向又继续行进。这种办法的搜索树是从树根开始一枝一枝逐渐形成的。

    深度优先搜索亦称为纵向搜索。由于一个有解的问题树可能含有无量分枝，深度优先搜索假如误入无量分枝(即深度无限)，则不行能找到目标节点。所以，深度优先搜索策略是不完备的。另外，应用此策略得到的解纷歧定是最佳解(最短途径)。

    广度优先搜索

    在深度优先搜索算法中，是深度越大的结点越先得到扩展。假如在搜索中把算法改为按结点的层次进行搜索，本层的结点没有搜索处理完时，不能对下层结点进行处理，即深度越小的结点越先得到扩展，也便是说先发生的结点先得以扩展处理，这种搜索算法称为广度优先搜索法。

    在深度优先搜索算法中，是深度越大的结点越先得到扩展。假如在搜索中把算法改为按结点的层次进行搜索，本层的结点没有搜索处理完时，不能对下层结点进行处理，即深度越小的结点越先得到扩展，也便是说先发生的结点先得以扩展处理，这种搜索算法称为广度优先搜索法。

    招引蜘蛛

    哪些页面被以为比较重要呢?有几方面影响要素：

    网站和页面权重。质量高、资格老的网站被以为权重比较高，这种网站上的页面被匍匐的深度也会比较高，所以会有更多内页被录入。

    页面更新度。蜘蛛每次匍匐都会把页面数据存储起来。假如第2次匍匐发现页面与第一次录入的彻底相同，说明页面没有更新，蜘蛛也就没有必要经常抓取。假如页面内容经常更新，蜘蛛就会愈加频频地拜访这种页面，页面上呈现的新链接，也自然会被蜘蛛更快盯梢，抓取新页面。

    导入链接。无论是外部链接仍是同一个网站的内部链接，要被蜘蛛抓取就必须有导入链接进入页面，否则蜘蛛底子没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被匍匐深度添加。一般来说网站上权重最高的是主页，大部分外部链接是指向主页，蜘蛛拜访最频频的也是主页。离主页点击距离越近，页面权重越高，被蜘蛛匍匐的机会也越大。

    地址库

    为了防止重复匍匐和抓取网址，搜索引擎会建立一个地址库，记载已经被发现还没有抓取的页面，以及已经被抓取的页面。地址库中的uRL有几个来历：

    人工录入的种子网站。

    蜘蛛抓取页面后，从HTML中解析出新的链接uRL，与地址库中的数据进行对比，假如是地址库中没有的网址，就存入待拜访地址库。

    站长经过搜索引擎网页提交表格提交进来的网址。

    蜘蛛按重要性从待拜访地址库中提取uRL，拜访并抓取页面，然后把这个uRL从待拜访地址库中删去，放进已拜访地址库中。

    大部分主流SEO(搜索引擎优化.cao4.net)搜索引擎都供给一个表格，让站长提交网址。不过这些提交来的网址都只是存入地址库而已，是否录入还要看页面重要性怎么。搜索引擎所录入的绝大部分页面是蜘蛛自己盯梢链接得到的。能够说提交页面根本上是毫无用处的，搜索引擎更喜爱自己沿着链接发现新页面。

    文件存储搜索引擎蜘蛛抓取的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是彻底相同的。每个uRI，都有一个独特的文件编号。

    匍匐时的仿制内容检测

    检测并删去仿制内容一般是在下面介绍的预处理进程中进行的，但现在的蜘蛛在匍匐和抓取文件时也会进行定程度的仿制内容检测。遇到权重很低的网站上很多转载或抄袭内容时，很可能不再继续匍匐。这也便是有的站长在日志文件中发现了蜘蛛，但页面从来没有被真实录入过的原因。

    预处理

    在一些SEO材料中，“预处理”也被简称为“索引”，由于索引是预处理最主要的进程。

    搜索引擎蜘蛛抓取的原始页面，并不能直接用于查询排名处理。搜索引擎数据库中的页面数都在数万亿等级以上，用户输入搜索词后，靠排名程序实时对这么多页面剖析相关性，核算量太大，不行能在一两秒内回来排名成果。因此抓取来的页面必须经过预处理，为最终的查询排名做好准备。

    和匍匐抓取相同，预处理也是在后台提前完结的，用户搜索时感觉不到这个进程。

    提取文字

    现在的搜索引擎仍是以文字内容为基础。蜘蛛抓取到的页面中的HTML代码，除了用户在浏览器上能够看到的可见文字外，还包括了很多的HTML格式标签、Java程序等无法用于排名的内容。搜索引擎预处理首先要做的便是从HTML文件中去除标签、程序，提取出能够用于排名处理的网页面文字内容。

    除掉HTML代码后，剩下的用于排名的文字只是这一行：

    除了可见文字，搜索引擎也会提取出一些特别的包括文字信息的代码，如Meta标签中的文字、图片替代文字、Flash文件的替代文字、链接锚文字等。

    中文分词

    分词是中文搜索引擎特有的进程。搜索引擎存储和处理页面及用户搜索都是以词为基础的。英文等语言单词与单词之间有空格分隔，搜索引擎索引程序能够直接把语句划分为单词的调集。而中文词与词之间没有任何分隔符，一个语句中的一切字和词都是连在一起的。搜索引擎必须首先分辩哪几个字组成一个词，哪些字自身便是一个词。比方“减肥办法”将被分词为“减肥”和“办法”两个词。

    中文分词办法根本上有两种，一种是依据词典匹配，另一种是依据核算。

    依据词典匹配的办法是指，将待剖析的一段汉字与一个事前造好的词典中的词条进行匹配，在待剖析汉字串中扫描到词典中已有的词条则匹配成功，或者说切分出一个单词。

    按照扫描方向，依据词典的匹配法能够分为正向匹配和逆向匹配。按照匹配长度优先级的不同，又能够分为最大匹配和最小匹配。将扫描方向和长度优先混合，又能够发生正向最大匹配、逆向最大匹配等不同办法。

    词典匹配办法核算简略，其准确度在很大程度上取决于词典的完好性和更新状况。

    依据核算的分词办法指的是剖析很多文字样本，核算出字与字相邻呈现的核算概率，几个字相邻呈现越多，就越可能形成一个单词。依据核算的办法的优势是对新呈现的词反响更快速，也有利于消除歧义。

    依据词典匹配和依据核算的分词办法各有优劣，实际使用中的分词体系都是混合使用两种办法的，快速高效，又能辨认生词、新词，消除歧义。

    中文分词的准确性往往影响搜索引擎排名的相关性。比方在百度搜索“搜索引擎优化”，从快照中能够看到，百度把“搜索引擎优化”这六个字当成一个词。

    而在Google搜索相同的词，快照显示Google将其分切为“搜索引擎”和“优化”两个词。显然百度切分得更为合理，搜索引擎优化是一个完好的概念。Google分词时倾向于更为细碎。

    这种分词上的不同很可能是一些要害词排名在不同搜索引擎有不同体现的原因之一。比方百度更喜爱将搜索词完好匹配地呈现在页面上，也便是说搜索“投标师在线网”

    时，这四个字接连完好呈现更简单在百度获得好的排名。Google就与此不同，不太要求完好匹配。一些页面呈现“投标师”和“在线网”两个词，但不必完好匹配地呈现，“投标师”呈现在前面，“在线网”呈现在页面的其他地方，这样的页面在Google搜索“投标师在线网”时，也能够获得不错的排名。

    搜索引擎对页面的分词取决于词库的规模、准确性和分词算法的好坏，而不是取决于页面自身怎么，所以SEO人员对分词所能做的很少。仅有能做的是在页面上用某种方式提示搜索引擎，某几个字应该被当做一个词处理，尤其是可能发生歧义的时分，比方在页面标题、h1标签及黑体中呈现要害词。假如页面是关于“和服”的内容，那么能够把“和服”这两个字特意标为黑体。假如页面是关于“化装和服装”，能够把“服装”两个字标为黑体。这样，搜索引擎对页面进行剖析时就知道标为黑体的应该是一个词。

    去中止词

    无论是英文仍是中文，页面内容中都会有一些呈现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“啊”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词。

    这些词被称为中止词，由于它们对页面的主要意思没什么影响。英文中的常见中止词有the，a，an，to，of等。

    搜索引擎在索引页面之前会去掉这些中止词，使索引数据主题更为杰出，减少无谓的核算量。

    消除噪声

    绝大部分页面上还有一部分内容对页面主题也没有什么奉献，比方版权声明文字、导航条、广告等。以常见的博客导航为例，简直每个博客页面上都会呈现文章分类、前史存档等导航内容，但是这些页面自身与“分类”、“前史”这些词都没有任何联系。用户搜索“前史”、“分类”这些要害词时仅仅由于页面上有这些词呈现而回来博客帖子是毫无意义的，彻底不相关。所以这些区块都归于噪声，对页面主题只能起到分散效果。

    搜索引擎需求辨认并消除这些噪声，排名时不使用噪声内容。消噪的根本办法是依据HTML标签对页面分块，区分出页头、导航、正文、页脚、广告等区域，在网站上很多重复呈现的区块往往归于噪声。对页面进行消噪后，剩下的才是页面主体内容。

    去重

    搜索引擎还需求对页面进行去重处理。

    同

    一篇文章经常会重复呈现在不同网站及同一个网站的不同网址上，搜索引擎并不喜爱这种重复性的内容。用户搜索时，假如在前两页看到的都是来自不同网站的同一篇文章，用户体验就太差了，虽然都是内容相关的。搜索引擎希望只回来相同文章中的一篇，所以在进行索引前还需求辨认和删去重复内容，这个进程就称为“去重”。(也有一种说法网络上很多呈现的文章搜索引擎以为很有用，所以会很快录入)去重的根本办法是对页面特征要害词核算指纹，也便是说从页面主体内容中选取最有代表性的一部分要害词(经常是呈现频率最高的要害词)，然后核算这些要害词的数字指纹。这里的要害词选取是在分词、去中止词、消噪之后。试验表明，一般选取10个特征要害词就能够达到比较高的核算准确性，再选取更多词对去重准确性前进的奉献也就不大了。

    典型的指纹核算办法如MD5算法(信息摘要算法第五版)。这类指纹算法的特点是，输入(特征要害词)有任何微小的变化，都会导致核算出的指纹有很大差距。

    了解了搜索引擎的去重算法，SEO人员就应该知道简略地添加“的”、“地”、“得”、互换阶段次序这种所谓的伪原创，并不能逃过“搜索引擎的高眼”，由于这样的操作无法改变文章的特征要害词。而且搜索引擎的去重算法很可能不止于页面等级，而是进行到阶段等级，混合不同文章、穿插互换阶段次序也不能使转载和抄袭变成原创。

    正向索引

    正向索引也能够简称为索引。

    经过文字提取、分词、

    消噪、去重后，搜索引擎得到的便是独特的、能反映页面主体内容的、以词为单位的内容。接下来搜索引擎索引程序就能够提取要害词，按照分词程序划分好的词，把页面转换为一个要害词组成的调集，一起记载每一个要害词在页面上的呈现频率、呈现次数、格式(如呈现在标题标签、黑体、H标签、锚文字等)、方位(如页面第一段文字等)。这样，每一个页面都能够记载为一串要害词调集，其中每个要害词的词频、格式、方位等权重信息也都记载在案。

    搜索引擎索引程序将页面及要害词形成词表结构存储进索引库。简化的索引词表方式如表2-1所示。

    每个文件都对应一个文件ID，文件内容被表明为一串要害词的调集。实际上在搜索引擎索引库中，要害词也已经转换为要害词ID.这样的数据结构就称为正向索引。

    倒排索引

    正向索引还不能直接用于排名。假设用户搜索要害词2，假如只存在正向索引，排名程序需求扫描一切索引库中的文件，找出包括要害词2的文件，再进行相关性核算。这样的核算量无法满足实时回来排名成果的要求。

    所以搜索引擎会将正向索引数据库从头结构为倒排索引，把文件对应到要害词的映射转换为要害词到文件的映射，如表2-2所示。

    在倒排索引中要害词是主键，每个要害词都对应着一系列文件，这些文件中都呈现了这个要害词。这样当用户搜索某个要害词时，排序程序在倒排索引中定位到这个要害词，就能够马上找出一切包括这个要害词的文件。

    链接联系核算

    链接联系核算也是预处理中很重要的一部分。现在一切的主流搜索引擎排名要素中都包括网页之间的链接活动信息。搜索引擎在抓取页面内容后，必须事前核算出：页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接使用了什么锚文字，这些复杂的链接指向联系形成了网站和页面的链接权重。

    值便是这种链接联系的最主要体现之一。其他搜索引擎也都进行相似核算，虽然它们并不称为由于页面和链接数量巨大，网上的链接联系又时时处在更新中，因此链接联系及PR的核算要耗费很长时刻。关于PR和链接剖析，后边还有专门的章节介绍。

    特别文件处理

    除了HTML文件外，搜索引擎一般还能抓取和索引以文字为基础的多种文件类型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我们在搜索成果中也经常会看到这些文件类型。但目前的搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能履行脚本和程序。

    虽然搜索引擎在辨认图片及从Flash中提取文字内容方面有些前进，不过距离直接靠读取图片、视频、Flash内容回来成果的目标还很远。对图片、视频内容的排名还往往是依据与之相关的文字内容，详细状况能够参考后边的整合搜索部分。

    排名

    经过搜索引擎蜘蛛抓取的界面，搜索引擎程序

    核算得到倒排索引后，收索引擎就准备好能够随时处理用户搜索了。用户在搜索框填入要害字后，排名程序调用索引库数据，核算排名显示给客户，排名进程是与客户直接互动的。