Skip to content

cmanlh/duanju

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

12 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

断句

中文分词

目前先完成了正向最大匹配

	File dictFile = new File("trunk\\resource\\dic\\dict.dic");

	FMMAnalyzer analyzer = FMMAnalyzer.getAnalyzer(dictFile);

	System.out
			.println(analyzer
					.analysis("由于科技所限,古代交流和交易是以陆路为主,辅以近海,所以古代交流和交易最为便捷的地方必然位于那时候已知的大陆的中心,也就是亚非欧大陆的交界处,和人类最早征服的海域,地中海沿岸。加上良好的气候和物产,所以人类文明史上最先进文明和最强势的国家大多诞生于这个地区。古埃及,古希腊,两河的诸多文明,但反过来同样的便捷和强势文明和国家的扎堆,又导致了战争,瘟疫极为频繁地爆发,强大的文明和帝国一个个如流星般消逝。也就是说,在这个地区,交流和交易的收益非常高,但是成本也非常高。导致了这个地区总能产生最先进的文明和国家,但很难产生长寿的文明和国家。"));

结果:

[由于, 科技, 所限, ,, 古代, 交流, 和, 交易, 是以, 陆路, 为主, ,, 辅以, 近海, ,, 所以, 古代, 交流, 和, 交易, 最为, 便捷, 的, 地方, 必然, 位于, 那时候, 已知, 的, 大陆, 的, 中心, ,, 也就是, 亚非, 欧, 大陆, 的, 交界处, ,, 和, 人类, 最早, 征服, 的, 海域, ,, 地中海, 沿岸, 。, 加上, 良好, 的, 气候, 和, 物产, ,, 所以, 人类文明, 史上, 最先进, 文明, 和, 最强, 势的, 国家, 大多, 诞生, 于, 这个, 地区, 。, 古埃及, ,, 古希腊, ,, 两河, 的, 诸多, 文明, ,, 但, 反过来, 同样, 的, 便捷, 和, 强势, 文明, 和, 国家, 的, 扎堆, ,, 又, 导致, 了, 战争, ,, 瘟疫, 极为, 频繁, 地, 爆发, ,, 强大, 的, 文明, 和帝, 国一, 个个, 如流, 星般, 消逝, 。, 也就是说, ,, 在这个, 地区, ,, 交流, 和, 交易, 的, 收益, 非常, 高, ,, 但是, 成本, 也非, 常, 高, 。, 导致, 了, 这个, 地区, 总能, 产生, 最先进, 的, 文明, 和, 国家, ,, 但很, 难产, 生长, 寿, 的, 文明, 和, 国家, 。]

目前借用的庖丁解牛(https://code.google.com/p/paoding/) 的字典,字典中的词不是很正确。以后得自己培养字典。

Releases

No releases published

Packages

No packages published

Languages