频道栏目
IT货架 > > 正文
mmseg4j 中文分词 1.6 版发布
网友分享于:Jun 12, 2018 8:13:43 PM    来源: IT货架   

经过几天的开发与调试,mmseg4j 1.6 版可以发布了。1.6 版主要实现与下功能:

  1. 实现多分词,在complex基础上,把长的词(大于2)拆出多个词。按二元分词,且把不存在的词去了,如:“西伯利亚” -> "西|伯利|利亚","西伯" 不存在词库中;“中国人民银行”-> "中国|国人|人民|银行"
  2. 支持多个词库文件,在词库目录中放"words"前缀且".dic"后缀的文件。如:data/words-my.dic
  3. 单字的单位独立一个文件(data/units.dic, 已经放入jar包里),也可以自定义覆盖它。加单字的单位处理分词比较好点,如:“年”在units.dic文件中,“2008年中有很多事情” -> “2008|年|中有|很多|事情”,否则,就分成了“2008|年中|有|很多|事情”。这功能是试行,如果不喜欢它,可以空的units.dic文件覆盖它。

MMSegAnalyzer 和 MMSegTokenizerFactory 默认的分词方式改为max-word。当然你可以单独地使用SimpleAnalyzer、ComplexAnalyzer、MaxWordAnalyzer。

多分词的效果:

	public void testEffect() throws IOException {
		String words = segW.segWords("共和国", "|");
		assertEquals("共和|国", words);
	}

	public void testEffect1() throws IOException {
		String words = segW.segWords("中国人民银行", "|");
		assertEquals("中国|国人|人民|银行", words);
	}

	public void testEffect2() throws IOException {
		String words = segW.segWords("西伯利亚", "|");
		assertEquals("西|伯利|利亚", words);
	}

	public void testEffect3() throws IOException {
		String words = segW.segWords("中华人民共和国", "|");
		assertEquals("中华|华人|人民|共和|国", words);
	}

	public void testEffect4() throws IOException {
		String words = segW.segWords("羽毛球拍", "|");
		assertEquals("羽毛|球拍", words);
	}

	public void testEffect6() throws IOException {
		String words = segW.segWords("为什么", "|");
		assertEquals("为|什么", words);
	}

	public void testEffect7() throws IOException {
		String words = segW.segWords("很好听", "|");
		assertEquals("很好|好听", words);
	}

	public void testEffect8() throws IOException {
		String words = segW.segWords("强冷空气", "|");
		assertEquals("强|冷|空气", words);
	}
	public void testEffect10() throws IOException {
		String words = segW.segWords("清华大学", "|");
		assertEquals("清华|大学", words);
	}

	public void testEffect11() throws IOException {
		String words = segW.segWords("华南理工大学", "|");
		assertEquals("华南|理工|工大|大学", words);
	}

	public void testEffect12() throws IOException {
		String words = segW.segWords("广东工业大学", "|");
		assertEquals("广东|工业|大学", words);
	}

solr 中使用

	<fieldType name="textMaxWord" class="solr.TextField" >
      <analyzer>
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>
      </analyzer>
    </fieldType>

google code 已经提供下载。

广告服务联系QQ:1134687142 | 网站地图

版权所有: IT货架- 内容来自互联网,仅供用于技术学习,请遵循相关法律法规. 京ICP备11030978号-1