NLPIR大数据语义智能挖掘平台

NLPIR大数据语义智能挖掘平台，针对大数据内容处理的需要，融合了网络精准采集、自然语言理解、文本挖掘和网络搜索的技术，提供了客户端工具、云服务、二次开发接口。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux，Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，C，C#等各类开发语言使用。

NLPIR-Parser是一套利用NLPIR大数据语义智能挖掘平台，专门针对大数据文本进行采集、处理和加工的软件系统，提供了中间件处理效果的可视化展示，也可以作为大规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。 NLPIR-Parser系统的两种下载途径： 1、GitHub: https://github.com/NLPIR-team/NLPIR/tree/master/NLPIR-Parser 2、百度网盘： 链接：https://pan.baidu.com/s/1dGZDGn3 密码：kq39 访问 NLPIR-Parser目录即可。

注：用户在github上下载NLPIR-Parser文件时需要专门的下载工具，建议使用svn工具下载文件。百度网盘下载量大时，需要安装百度网盘客户端。

NLPIR大数据语义智能挖掘平台的十三大功能：

1. 精准采集 对互联网信息的实时精准采集，用户只需要提供关键词或站点网址，系统便可帮助用户快速获取信息。系统支持境外信息的采集。
2. 文档抽取 对多种主流文档的信息抽取功能，文档类型包括：doc、excel、pdf与ppt。不管用户的文本信息是什么类型，系统都能快速进行信息抽取，进行格式归一化处理。
3. 新词发现： 从文件集合中挖掘出内涵的新词语列表，可以用于用户专业词典的编撰；还可以进一步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。关键词提取能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于精化阅读、语义查询和快速匹配等。
4. 批量分词： 对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。
5. 语言统计 针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计（统计两个词左右连接的频次即概率）。针对常用的术语，会自动给出相应的英文解释。
6. 文本聚类 能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。
7. 文本分类 针对事先指定的规则和示例样本，系统自动从海量文档中识别并训练分类。NLPIR深度文本分类，可以用于新闻分类、简历分类、邮件分类、办公文档分类、区域分类等诸多方面。
8. 摘要实体 自动摘要能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。实体提取能够对单篇或多篇文章，自动提炼出内容摘要，抽取人名、地名、机构名、时间及主题关键词；方便用户快速浏览文本内容。
9. 智能过滤 能够对指定的分析文档信息进行不良信息的检查和筛选，自动从大量文档中将不良信息过滤出来，以便审核和处理。
10. 情感分析 情感分析，针对事先指定的分析对象，系统自动分析海量文档的情感倾向：情感极性及情感值测量，并在原文中给出正负面的得分和句子样例。
11. 文档去重 能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出所有的重复记录。
12. 全文检索 JZSearch全文精准检索支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。可以无缝地与现有文本处理系统与数据库系统融合。
13. 编码转换 自动识别文档内容的编码，并进行自动转换，目前支持Unicode/BIG5/UTF-8等编码自动转换为简体的GBK，同时将繁体BIG5和繁体GBK进行繁简转化。