模型的数据是如何生成的？

[mtejiang]

就是finalseg/prob_*.py中的这些数据

[fxsjy]

@feriely ， 来源主要有两个，一个是网上能下载到的1998人民日报的切分语料还有一个msr的切分语料。另一个是我自己收集的一些txt小说，用ictclas把他们切分（可能有一定误差）。 然后用python脚本统计词频。

要统计的主要有三个概率表：1)位置转换概率，即B（开头）,M（中间),E(结尾),S(独立成词）四种状态的转移概率；2）位置到单字的发射概率，比如P("和"|M)表示一个词的中间出现”和"这个字的概率；3) 词语以某种状态开头的概率，其实只有两种，要么是B，要么是S。

[fxsjy]

比如finalseg/prob_trans.py这个文件：

{'B': {'E': 0.8518218565181658, 'M': 0.14817814348183422},
'E': {'B': 0.5544853051164425, 'S': 0.44551469488355755},
'M': {'E': 0.7164487459986911, 'M': 0.2835512540013088},
'S': {'B': 0.48617017333894563, 'S': 0.5138298266610544}}

P(E|B) = 0.851, P(M|B) = 0.149，说明当我们处于一个词的开头时，下一个字是结尾的概率要远高于下一个字是中间字的概率，符合我们的直觉，因为二个字的词比多个字的词更常见。

[pedia]

应该把这个写入wiki

[whille]

BMES法是从BE改进的，M$又用到了BB1B2MES 6元法。 state越多效果越好。
但我感觉state还是不够。只用几个state是把大量样本信息模糊化了, 反过来用viterbi估计分词，是去马赛克，效果不会多好。为什么不用更多的states呢？自然理解的话，O：sentence。 States：word_cut。 这样state数是2*汉字个数。
e.g.:
X：我们|在|哈尔滨|
Y：我 们在哈尔滨

我用icwb2-data/gold/pku_test_gold.utf8训练，对比BMES 和word state的分词效果：

BMES: 改判|被|告人|死刑|立即|执行|
WORD: 改判|被告人|死刑|立即|执行|
BMES: 检察院|鲍|绍坤|检察长|
WORD: 检察院|鲍|绍坤|检察长|
BMES: 小明|硕士|毕业|于|中国|科学院|计算|所|
WORD: 小明|硕士|毕业|于|中国|科学院|计算所|
BMES: 工信|处女|干事|每月|经过|下属|科室|都|要|亲口|交代24口|交换|机等|技术|性器|件|的|安装|工作|
WORD: 工信|处女|干事|每月|经过|下属|科|室|都|要|亲|口|交代|24口|交换|机|等|技术性|器|件|的|安装|工作|

可见后者效果好一些。

[fxsjy]

@whille , 没有看太明白，你的建议是用更多的状态？ 但是加状态回导致分词速度变得更慢哦，毕竟是纯python实现。

[whille]

慢一些，但一个ob只有两个state对应， 比如ob['工']的state只有'工_'和‘工|'两种。所以迭代时可以continue。如果利用反向dict查找，就更快了。

另外想问一下，BMES看来是统计training得到的。之前看HMM的前向-后向算法，不知道是不是可以用来迭代的更新这个model。

[fxsjy]

@whille , 状态多一些使得分词更准确这一点我也赞同。其实，在jieba分词的词性标注子模块posseg中，就是将BMES四种状态和20集中词性做笛卡尔集得到所有的状态，最后的效果也的确比finalseg要好，尤其是人名识别方面，但是速度就严重下降了。https://github.com/fxsjy/jieba/blob/master/jieba/posseg/prob_start.py

[fandywang]

感觉训练语料库还是比较小，对于web文本处理效果难免出现较多badcase，可否引入更多web真实文本训练？比如web网页、输入法细胞词库、wiki、问答网站的问题（相当于query）等

[fxsjy]

@fandywang , 现在的确存在这个问题。如果你看看dict.txt，随处可以看见一些不像词的词，高质量的训练数据不好搞啊。

[zjjott]

@fxsjy 谢谢你的回答，这样看来是缺少现代的词库？我想做一个语义树，主要担心一些网络流行语、学术名词的匹配，还没有做这样的词库，看来我可以找时间补充一下

[gordonpro]

中文就是分词蛋疼。一直没有较好的朗读解决方案。

[chundong]

sogou有一个互联网词库 和中文词语搭配库 http://www.sogou.com/labs/dl/w.html ，不知道这个词库质量怎么样？能否添加进来。

[fxsjy]

@chundong , 可以加入，结巴支持自定义词典，只要按照格式就可以。