fairies

• 针对中文nlp任务中包含的噪音数据进行自动修正清洗(TODO)

• 利用算法合理划分训练集和验证集(TODO)
• txt,json,excel等文件的储存读取

• nlp常用工具

安装

pip install fairies==0.2.0

使用

import fairies as fa

# The format of the read file can be JSON, TXT, CSV, XLSX, NPY
fileName = 'test.json'
data = fa.read(fileName)