基于prompt learning的NLP算法,涉及文本分类、信息抽取等
本项目集成了基于 prompt learning 相关的NLP任务,对 prompt learning 相关的理论知识可见Prompt Learning|深入浅出提示学习要旨与常用方法 。
基于 pytorch + transformers 框架,其中transformers 是 huggingface 开源的近年非常火的开源框架,支持非常方便的加载/训练 transformer 模型,详见这里 ;看到该库的安装方法和入门级调用,该库也能支持用户非常便捷的微调一个属于自己的模型 。
本项目抽象于实际业务,并集成了一些主流的NLP任务,如有需要对应的任务,可将代码中的训练数据集
更换成你自己任务下的数据集
从而训练一个符合你自己任务下的模型。
目前已经实现的NLP任务如下(更新中):
在给定的文本中抽取目标信息,多用于:
命名实体识别(NER)
,实体关系抽取(RE)
等任务。
模型 | 传送门 |
---|---|
通用信息抽取(Universe Information Extraction, UIE) | [入口] |
对给定文本进行分类,用于:
情感识别
,文本质检识别
等任务。
模型 | 传送门 |
---|---|
基于 BERT 的分类器 | [] |