分词是中文搜索引擎中独有的技术。在英语中以英语单词为单位,英语单词之间会有空格,并且每个英语单词都有特殊的含义,计算机系统比较容易理解英文句子的含义。但是汉语以字为单位,只有将一段话中所有的字联起来才能体现一个全部的含义。计算机系统不能直接把汉语分为单独字来理解,所以就需要加入中文分词技术,把一段话切分为一个一个有意义的词句来进行理解。
搜索引擎面对汉语网页页面时就这样,靠中文分词来理解网页页面所叙述的内容。其实分词技术的基础就是拥有大量的含义的词库文件(词典),搜索引擎会使用自己强大的词库文件来对网站内容进行分拆或者是对内容进行机诫激光切割,数据分析出出现数次最多的词。通过词性标注就可以使得搜索引擎搞清楚该网站内容是与什么有关的,这会直接决定该网页页面出现在哪些词的搜索结果中,所以中文分词在搜索引擎优化工作上也是需要潜心研究的。目前很多搜索引擎优化人员只是知道有那么个技术,但是对这项技术具体是怎么进行分词的,以及中文分词是怎么应用到搜索引擎优化工作上还一无所知。 搜索引擎对于汉语内容的理解和分词一直还没有过大的发展,所以搜索引擎程序在判别网站内容和关键字关联方面的技术,与几年前对比也并没有过大的发展。目前常见的中文分词技术有两种:来源于词典配对和来源于数据分析,也有探讨来源于语义分析的分词方法,但是中文源远流长,计算机程序仍然还不能很好的支持。