1、简介:IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包这里使用的是IKAnalyzer2012。
(1)采用了特有的“正向迭代最细粒度切分算法“支持细粒度和智能分词两种切分模式;
(3)2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。
(4)采用了多子处理器分析模式支持:英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符
(5)优化的词典存储,更小的内存占用支持用户词典扩展定义。特别的在2012版本,词典支持中文英文,数字混合词语