Skip to content

wainshine/Book-Names-Corpus

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

21 Commits
 
 
 
 
 
 
 
 

Repository files navigation

图书名语料库(Book-Names-Corpus)

关于萌名(NameMoe)

萌名是一个基于大数据和自然语言处理技术的新取名产品。

通过分词工具对海量文本进行分词和词频统计。数据清洗后,得到千万级的人名词典。再对其进行性别、年龄、拼音、情感、人名指数等标记,最终形成5600万+的中文人名图谱。

为剔除人名、机构名中的badcase,个人收集并建立了大量行业词典,图书名语料库(Book-Names-Corpus)即是其中之一。

本子项目可用于中文分词、作品名识别等场景。


PS1:维护此项目,除个人兴趣外,主要是在此过程中,可通过任务驱动来不断学习和实践NLP、KG以及AI等相关前沿技术。

PS2:正在找工作,求内部推荐~ 移动医疗/SaaS后台/人工智能方向的 高级产品经理一枚。

PS3:请勿提交涉政issue,谢谢。

PS4:如将本项目转存到国内的某平台,请设置成0积分下载,并保留GitHub链接。


图书名语料库(Book-Names-Corpus)

数据大小:100万。

语料来源:多个词典汇总。

数据清洗:已清洗,但仍存有大量badcase,主要是电影名、电视名、游戏名等。


ISBN语料库(ISBN-Corpus)

数据大小:100万。

语料来源:多个词典汇总。

数据清洗:未清洗。


更新时间:

删除部分badcase。 -2019.07.27

新增100万ISBN号。 -2019.09.10

删除部分badcase。 -2019.09.28

删除部分badcase。 -2020.12.13


@萌名NameMoe 整理

2024.03.27