自动分词

输入计算机的汉字，无论是从键盘上用编码建筑的，或者是通过汉字自动识别输入的，最终都必须由内码表示

词与词之间没有任何的区分标志，然而在信息处理许多重要领域中，例如机器翻译，自然语言理解，文献检索等平行上进行的这一平面上，是可以想象的，为了能够在此这一平面上进行中文信息处理，必须把等距排列的汉字串序列按词切分开来打胜区分标志，使得汉字自串序列转换成词串序列就是自动分词