最新稳定版本测试问题

[yukaizhao]

用户自定义词典中的内容如下：

easy_install 99999999
正则表达式 999999

如下测试代码：

#coding=utf-8


import jieba
__author__ = 'yukaizhao'


if __name__ == '__main__':
    jieba.load_userdict(r'E:\outofmemory\search\dict.txt')
    terms = jieba.cut('easy_install is great')
    for t in terms:
        print t
    print '-------------------------'
    terms = jieba.cut('python 的正则表达式是好用的')
    for t in terms:
        print t

以上代码执行的结果：

easy
_
install

is

great
-------------------------
python

的
正则表达式
是
好
用
的

分词的结果很不理想, 有如下问题：

1. easy_install 在自定义词典中定义了非常高的权重，但是依然被拆开了
2. 英文半角的空格也会当作一个词切出来了
3. 第二个句子“python 的正则表达式是好用的”，这里的“是好用的”切成了单字

我测试用的是最新的稳定版本0.26.1.

感谢作者的开源精神

[fxsjy]

@yukaizhao , easy_install被切开了，是因为我没有把 ‘_’ 纳入可参与成词的字符。英文半角的空格的确被yield出来了，过滤一下就好了。“好用的”被切成单字，是因为“好”和“用“的单字概率较大，除非你在自定义词典中调高”好用“的概率。
你git pull 一下，看看test_userdict.py 这个例子能否满足你的需求？

45591bb

[fxsjy]

效果：

easy_install
is
great

python
的
正则表达式
是
好用
的
·

[yukaizhao]

谢谢回复。

_下划线不应该作为单词分隔的依据希望在新的稳定版本中修复此问题
另外好，用单字的概率是很大，但是当他们在一起时则不应该切成两个词，这个问题是不是可以从算法上修改呀，也希望能做修改增强。

[yukaizhao]

另外半角空格被yield出来其实是完全没有意义的，建议在jieba中处理，而不是让每个使用jieba的用户都去过滤这个空格

[fxsjy]

@yukaizhao , 空格已经在昨天的提交中过滤掉了。

[fxsjy]

@yukaizhao ，这个不是算法的问题，主要是词典中的词频有些并不准确。