Skip to content
multiprocess unsupervised chinese_detect_words ngram_combination
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
.idea
__pycache__
files
output
README.md
configs.py
get_corpus.py
get_raw_words.py
multiprocess_deal.py
patterns.py
segment_multi.py
trie_multi.py
util_funcs.py

README.md

1.思路:借鉴之前有一篇blog,利用人人网数据进行新词挖掘的思想,做了改进优化;

2.原始思路: 利用jieba对文档分词,3个相邻词为一组,计算两个词的左信息熵,右信息熵,内部的凝聚度,并据此进行计算分数,根据分数大小获取新词;

3.优化点:

      1.针对只能结合两个词,泛化到结合计算相邻N个词;

      2.内部互信息【凝聚度计算】,归一化到长度=1个词的情况下的值,可以实现不同长度词在同一纬度下进行比较;
      
      3.多进程处理,提高运行速度;
      
      4.添加过滤机制,根据停用词,高频常用词等进行过滤

4.入口文件: segment_multi.py

执行方式: python segment_multi.py

参数修改文件:configs.py

5.效果展示

('_重大_疾病', 0.017789747314352424)

('_保障_范围', 0.015639743403053734)

('_本_公司', 0.014212133249451173)

('_完全_丧失', 0.013672071599779227)

('_意外_伤害', 0.010722245979224557)

('_明确_诊断', 0.009062853195861094)

('_日常生活_活动', 0.008990786509666062)

('_六项_基本_日常生活', 0.008813957372202039)

('_基本_日常生活', 0.008694797110512052)

('_基本_日常生活_活动', 0.008671016020472998)

('_保险_事故', 0.008504469334120192)

('_六项_基本_日常生活_活动', 0.008471400808888209)

('_能力_完全_丧失', 0.008404916576493579)

('_全部_条件', 0.008136980840438046)

('_无法_独立', 0.008091270307811042)

('_满足_下列_全部_条件', 0.008055553080109046)    
    
('_现金_价值', 0.007895715475057304)
You can’t perform that action at this time.