Releases: PaddlePaddle/PaddleNLP
Releases · PaddlePaddle/PaddleNLP
PaddleNLP v2.5.1
New Features
PPDiffusers
- PPDiffusers支持从HF Hub加载和上传模型 #4640 #4625
- 新增 AutoEncoder 的训练流程 #4137
- 新增 LoRa ，支持使用lora训练 dreambooth、text_to_image，同步更新上述训练脚本 #4768
AutoNLP
基础底座
- ERNIE-Layout支持re-compute #4490
- Roberta, T5结构新增AutoConverter功能，可以直接加载torch模型
- 将PaddleNLP内所有激活函数统一至
paddlenlp.transformers.activations#4589 - Nezha, GauAlpha 模型结构完成transformers统一体验升级
- 给 Chineseclip 模型支持AutoModel 的功能 #4585
- 添加 model-zoo 测试样板间 #4398
- 新增BLIP 1.0模型，支持CLIP Interrogator图生文 #4676
- 删除CLIP、ErnieVil、ChineseCLIP中重写的 from_pretrained_v2 方法 #4797
- 新增polynomial学习率变化策略，DataCollatorForLanguageModeling，DataCollatorForWholeWordMask API #4826
UTC
- 新增 utc-xbase, utc-base, utc-medium, utc-mini, utc-micro, utc-nano, utc-pico 版本，默认模型由 utc-large 切换为 utc-base #4716 #4825
- 新增 UTC 英文文档 #4476
Pipelines
- 新增跨模态检索端到端的方案，支持以文搜图的整套服务化部署方案。#4516
Bug Fix
- 修复UIE-X特殊字符预测结果偏移问题 #4687
- 修复Taskflow中zero_shot_text_classification任务本地模型加载失败的问题 #4505
- 修复UTC 模型batch内对cls_positions gather结果不符合预期的问题 #4785
- 修复bos模型下载notebook内的tqdm体验问题 #4603
- 删除多余的protobuf依赖 #4600
- 修复ernie-m自动生成attention_mask的错误 #4494
- 修复pre-release版本下载安装 #4661
- 修改 AutoConverter 中精度对比随机性的问题 #4568
- 修复非community的model权重，在多机或者多卡情况下下载的错误问题 #4491
- 修复information_extraction, unified_sentiment_analysis, model_zoo/uie中参数is_shuffle的传参类型问题 #4460
- 修复 T5 FastGeneration sampling 结果出错的问题 #4624
PaddleNLP v2.5.0
Highlights
PaddleNLP 2.5 正式版本全新升级来了！在PaddleNLP 2.5版本中我们发布了飞桨扩散模型工具箱PPDiffuers, 可以降低扩散模型的研究和使用成本。在产业应用侧我们发布了文档信息抽取UIE-X、统一文本分类UTC、统一情感分析UIE-Senta、无监督问答应用；为了降低端上部署难度，我们开源了最新ERNIE 3.0 Tiny v2 系列模型，同时提供了全量化和词表量化加持的端到端语义理解压缩方案。在基础框侧我们提供 PretrainedConfig 来统一预训练模型配置，同时 Trainer API、Prompt API、数据增强API 等框架API做了升级。在2.5正式发版中我们做了Huggingface生态联合相关工作，欢迎大家Huggingface体验PaddleNLP预训练模型效果。在2.4版本到2.5版本中PaddleNLP有 34 位新增Contributors，感谢大家对PaddleNLP开源工作的支持！下面是PaddleNLP 2.5 正式版本的发版内容介绍。
New Features
PPDiffusers 扩散模型工具库发布
大火的AI绘画扩散模型来了 🔥
PPDiffusers是基于PaddlePaddle的扩散模型工具箱，提供多模态的扩散模型，希望助力开发者快速使用和开发文生图、文生视频、文生文相关扩散模型
SOTA扩散模型Pipelines集合
- 通过pipelines几行代码即可使用 Stable Diffusion 绘画，还能够基于FastDeploy高性能加速；这样出色的模型应用pipelines还有30+，包括最新的中文文生图模型 IDEA/Taiyi-Stable-Diffusion、BAAI/AltDiffusion、MindDiffusion/wukonghuahua。
丰富的Noise Scheduler和模型组件
- 提供丰富的噪声调度器（Noise Scheduler），不仅支持主流使用的DDPM、DDIM 和 PNDM，还支持最新的 DPMSolver，14+ Scheduler供您在速度与质量之间权衡。集成多种 Diffusion 模型组件，如UNet1d、UNet2d、UNet2d Conditional，方便的搭建自己的扩散模型。
全方位的训练和推理教程
- 提供了多场景需求的训练教程，从头训练、领域微调及小样本定制化都可以满足。训练后您自己的模型也可以参照FastDeploy推理教程进行高性能加速。
端上语义理解压缩方案
发布基于ERNIE 3.0 Tiny模型的端上语义理解压缩方案，帮助开发者快速在边缘端设备部署预训练模型
ERNIE 3.0 Tiny V2 轻量级模型 发布
- ERNIE 3.0 Tiny V2在V1的模型的基础上使用了下游知识注入、多任务学习等策略，在out-domain、low-resourced 数据上的效果显著提升
基于 PaddleSlim 全量化压缩方案发布
- 首次发布基于PaddleSlim的全量化加速方案，同时支持词表量化来降低部署内存占用，在精度基本无损的情况下模型预测速度大幅提升
FastDeploy 全场景部署
- FastDeploy 是一款全场景、易用灵活、极致高效的 AI 推理部署工具，大大降低在边缘端部署难度
产业范例库升级
文档智能信息抽取UIE-X 应用
- 场景全面： 覆盖文档信息抽取各类主流任务，支持多语言，满足开发者多样信息抽取落地需求
- 效果领先： 以在多模态信息抽取上有突出效果的模型UIE-X作为训练基座，具有广泛成熟的实践应用性
- 简单易用： 通过Taskflow实现三行代码可实现无标注数据的情况下进行快速调用，一行命令即可开启信息抽取训练，轻松完成
部署上线，降低信息抽取技术落地门槛 - 高效调优： 开发者无需机器学习背景知识，即可轻松上手数据标注及模型训练流程
统一文本分类UTC应用
- SOTA效果：UTC是基于统一语义匹配框架建模的SOTA模型，模型效果刷新FewCLUE和ZeroCLUE两大榜单
- 统一建模：单模型可支持多种任务建模，同时支持多分类、多标签、层次分类多个任务
- 快速迁移：零样本分类和小样本迁移能力强，同时提供Label Studio标注工具标注方法，支持快速调优开发
统一情感分析UIE-Senta应用
- 应用全面：新增uie-senta系列模型，模型效果大幅提升，支持语句情感分类，属性抽取，观点抽取等常用情感分析能力
- 高效调优：提供Label Studio标注工具标注方法，开发者通过简单数据标注，即可快速进行模型训练与调优
- 场景验证：真实应用场景打磨的应用工具，解决隐性情感维度抽取、情感维度聚合等真实场景难题
无监督问答应用
- 应用创新：无监督检索式问答系统（即问答对自动生成智能检索式问答），基于问题生成、UIE答案抽取、检索式问答等应用组合来支持以非结构化文本形式为上下文自动生成QA问答对，生成的问答对语料可以通过无监督的方式构建检索式问答系统。
- 简单应用：通过PaddleNLP Pipelines 提供包括问答语料生成、索引库构建、模型服务部署、WebUI可视化一整套端到端智能问答系统能力
基础框架升级
PretrainedConfig
- 模型配置正式化，配置模型参数更加易用，GPT/T5/Ernie/ErnieM/ErnieLayout/Bart/MBart/Unified_Transformer/Unimo/CodeGen 等模型升级至使用PretrainedConfig
Trainer API
- 新增基础训练能力支持，支持混合精度O1、O2两种模式bf16训练 #3352
- 新增分布式技术能力支持，支持recompute重计算、sharding训练支持 #3352
- 新增
Seq2SeqTrainer支持 seq2seq 类型模型训练。#3352 - 新增
Memory Tracer支持监控内存、显存 #4181
模型压缩 API
- 模型压缩 API 接入量化训练、词表压缩等功能，并支持各种策略组合 #3271 #4159 #4011
- 模型压缩 API 支持 ERNIE、UIE、BERT、TinyBERT、ELECTRA、ERNIE-M、RoBERTa、PP-MiniLM 等 #3234
数据增强API
- 新增字和句子级别数据增强策略，新增基于反义词和基于word embedding的近义词表，支持文件输入-输出数据增强 #4194
Prompt API
- Template API 新增支持 Prefix-Tuning 和 UniMC
FastGeneration
- 新增T5生成加速，动转静以及预测库支持 #3763
model.generate()接口调整，use_faster参数调整为use_fast#4213- Transformer 生成加速解除 FFN 中间隐层大小必须是 4 倍的限制 #3592
FastTokenizer
- 更新FastTokenizer 1.0.1, 修复PretrainedFastTokenizer中get_vocab_size关键词参数错误 #4339
- 修复FastTokenizer AddToken接口无法接受AddedToken数据结构的错误。#4380
- 修复FastTokenizer单线程分词仍创建线程的问题。 #4441
SimpleServing
- 新增SimpleServing服务化部署方式，SimpleServing是基于FastAPI的二次封装的服务化部署方式，支持Transformers模型和Taskflow几行代码快速部署，降低开发者服务化部署难度 #2845
Huggingface 生态联合
PaddleNLP首次和Huggingface生态联合，支持所有Model和Tokenizer类支持直接从 Huggingface Hub下载和上传，开发者可以直接从Huggingface体验预训练模型效果
- 所有Model和Tokenizer类支持直接从Huggingface Hub下载和上传
- Text Summarization, Fill Mask, Dialogue Taskflow支持直接从Huggingface Hub加载, 并且连通HuggingFace Inference API
- 新增ConversionMixin, bert和gpt模型的
from_pretrained支持直接从Huggingface Hub加载torch权重的模型
Bugs
- 修复 load_torch 中的特殊情况 #4383
- 修复 基于SKEP的情感分析tokenizer分词问题 #4357
- 修复 FastGeneration 在 FP16 下生成不在词表中 id 的问题 #3936
- 修复 FastGeneration 在新版 PaddlePaddle eager mode 上使用 FP16 上不可用的问题 #3936
- 修复 UnifiedTransformer 和 UNIMOText 在原生生成式 API 使用问题 #3936
- 修复 BART，MBART，T5 在 4D AttentionMask 下生成报错的问题 #3936
- 修复Windows系统下生态模型下载的问题 #3640 #3670
- 修复
from_pretrained_v2不能load fp16模型的问题。#3902 - 修复Trainer sharding下保存模型报错的问题。#4220
- 修复Windows下用CPU训练Pegasus文本摘要报错的问题。#4431
Others
- 新增数据下载以及全套数据预处理流程，新增数据集自定义接口以及文档说明 #3269
- T5新增prepare_decoder_input_ids_from_labels method #4331
- 重构CLIP和ERNIE VIL模型，新增ChineseCLIP模型 #4270
- 新增CMSIM_LOCK模型 #4388
- Pipelines支持批量的预测，Pipelines新增ERNIE Vilg文图生成、RocketQAv2、ERNIE-Search英文语义检索 #3432 #3512 #3718 #3906 ；PIpelines新增关键字，语义检索两路召回，新增Docker 镜像构建流程，新增Milvus 2.1向量检索工具 #3864 #3315 #3283
New Contributors
- @JamesLim-sy made their first contribution in #3089
- @bruce0210 made their first contribution in #3209
- @wuhuachaocoding made their first contribution in #3211
- @kztao made their first contribution in #3182
- @paopjian made their first contribution in #3221
- @0x45f made their first contribution in #3277
- @HexToString made their first contribution in #3309
- @Septilliony made their first contribution in #3375
- @Elvisambition made their first contribution in #1799
- @YanhuiDua made their first contribution in #3377
- @Yam0214 made their first contribution in #3370
- @alkaideemo made their first contribution in #3424
- @ShawnNew made their first contribution in #3431
- @qipengh made their first contribution in #3434
- @sijunhe made their first contribution in #3411
- @iamWHTWD made their first contribution in #3527
- @USTCKAY made their first contribution in #3521
- @feifei-111 made their first contribution in #3585
- @Wang-ck123 made their first contribution in #3409
- @chenxiangzhen made their first contribution in #3602
- @ymyjl made their first contribution in #3641
- @sserdoubleh made their first contribution in #3662
- @ChenBinfighting1 made their first contribution in #3677
- @firestonelib made their first contribution in #3755
- @co63oc made their first contribution in #3955
- @zjjlivein made their first contribution in #3969
- @DefTruth made their first contribution in #3999
- @christineaa made their first contribution in #3977
- @shentanyue made their first contribution in #4042
- @LazyFyh made their first contribution in #4102
- @pangyoki made their first contribution in #3954
- @GGBond8488 made their first con...
Contributors
kztao, co63oc, and 32 other contributors
Assets 2
PaddleNLP v2.4.9
PaddleNLP v2.4.8
PaddleNLP v2.4.7
New Features
Sentiment Analysis
- 情感分析：#3694
- 提供uie-senta系列训练模型，支持语句情感分类，属性抽取，观点抽取等常用情感分析能力
- 支持从输入数据到情感分析结果可视化，助力业务数据分析
- 定制情感分析能力，解决同义属性聚合、隐性观点抽取难题
UIE
- UIE Taskflow支持从HF Hub加载
TextClassification
- 文本分类Taskflow支持多标签预测 #3968
FastTokenizer
- 修复FastTokenizer BertNormalizer json实例化bug
Bug Fix
- 修复AutoModel加载legacy config和standard config的问题 #4083
Others
PaddleNLP v2.4.5
New Features
UIE
- 新增UIE-X端到端文档抽取功能，支持Taskflow一键调用，并提供标注、微调及部署的产业级全流程解决方案。 #3951
Machine Translation
- 新增数据下载以及全套数据预处理流程，新增数据集自定义接口以及文档说明 #3269
PPDiffusers
- 添加FID和CLIP Score的计算代码 #3860
- 发布ppdiffusers 0.6.3 #3963
- 发布ppdiffusers 0.9.0 #3919 #4017 #4018
- 新增ppdiffusers FastDeploy部署功能 #3813
基础底座
- Model以及Tokenizer支持一行代码
.save_to_hf_hub()上传至Huggingface Hub #3982
Others
PaddleNLP v2.4.4
New Features
Prompt API
- 新增 MaskedLMVerbalizer，支持 PET 算法实现。#3889
FastTokenizer
- 新增CLIP FastTokenizer #3805
PPDiffusers
Pipelines
- Pipelines新增ERNIE-Search的支持 #3906
基础底座
- 新增文本分类专用的Text Classification Taskflow #3841
- 新增完型填空的Fill-Mask Taskflow, 并且直接从Huggingface Hub加载#3870
- AutoModel和AutoTokenizer支持直接从Huggingface Hub加载 #3786
- Dialogue Taskflow支持直接从Huggingface Hub加载 #3865
- 新增 PaddleNLP SimpleServing 功能，支持 Taskflow、预训练模型快速部署 #2845
Bug Fix
PaddleNLP v2.4.3
New Features
Prompt API
- Template String 新增支持关键字
prefix和options，新增position,token_type,length,encoder,hidden_size等7个属性 #3724 - 新增支持 PrefixTemplate
- 解除
InputExample和InputFeatures对输入数据关键字的限制
问答
- 新增无监督问答pipelines，pipeline运行示例和说明文档 #3605
- 新增节点QAFilter、AnswerExtractor、QuestionGenerator、AnswerExtractorPreprocessor、QAFilterPostprocessor
- 新增pipeline QAGenerationPipeline
- FastAPI后端代码，承接ElasticSearch ANN检索库、QAGenerationPipeline和SemanticSearchPipeline
- 无监督问答WEB可视化系统，功能如下：问答检索、在线问答对生成、在线更新索引库、文件上传并自动生成和载入问答对、问答对生成可选择过滤、问答检索可选择返回答案数量和最大检索数量
Trainer
- 新增sharding支持，目前支持sharding stage1、stage2。 #3352
- 新增bf16训练支持，可支持单卡、多卡训练。完善了pure_fp16训练支持。
- 新增IterableDataset支持，支持传入Iterable的数据集。
- 新增Seq2SeqTrainer，支持seq2seq任务训练。
FasterGeneration
- 解除 Transformer FFN 中间隐层维度是
d_model4 倍的限制，新增导入model_state方式加载模型 #3592
FastTokenizer
- AutoTokenizer新增
use_fast参数，指定使用fast_tokenizer完成高性能分词。目前ERNIE,BERT,TinyBert以及ERNIE-M可开启该选项。#3746 - 发布高性能分词工具FastTokenizer 1.0.0 正式版，包含C++预编译包以及Python包 #3762
基础底座
- UNIMO 新增支持获取中间输出选项和支持输入 label 并自动计算 loss #3450
- CodeGen 新增支持获取中间输出选项和支持输入 label 并自动计算 loss #3465
- UnifiedTransformer 新增支持获取中间输出选项和支持输入 label 并自动计算 loss #3459
- BART 新增支持获取中间输出选项和支持输入 label 并自动计算 loss #3436
- MBART 新增支持获取中间输出选项和支持输入 label 并自动计算 loss #3436
- T5 支持直接输入 encoder & decoder embedding 结果 #3668
- 新增paddlenlp cli工具 #3538
- 添加 7 个 P1 级别模型的单测 #3462
UIE
- 新增 UIE 量化训练和部署 #3496
Neural Search
- 新增Gradicent Cache和Recompute支持单卡超大batch size的训练。 #3697
Text Classification
PPDiffusers
- 将diffusers_paddle重命名为ppdiffusers。#3601
- 修复bug支持中文Stable Diffusion, 发布ppdiffusers0.6.1。 #3663
- 发布ppdiffusers0.6.2 #3737
- 增加laion400m文生图训练脚本。#3693 #3772
- 支持 EulerAncestralDiscreteScheduler 和 DPMSolverMultistepScheduler #3708 #3764
- 增加fid计算代码。#3685
- 增加ldm超分的pipeline。 #3710
- 增加ppdiffusers推理pipeline使用代码。 #3759
- 添加 ppdiffusers CD workflow #3604
Bug Fix
- 修复 FasterEncoder 预测结果异常问题 #3606
- 修复 FasterGeneration PrefixLM 类模型在 beam search 解码策略下显存分配问题 #3662
- 修复Windows平台下载社区模型失败的问题 #3670 #3640
- Pipelines修复文件重复上传的问题。#3568
- Pipelines修复word文档解析异常的问题。#3645
- PIpelines修复批量预测异常的问题。#3712
- 修复问题生成模版相关的bug .#3646
- TIPC中gpt动转静。#3586
- 添加CLIPText，CLIPVision进入auto/modeling，支持AutoModel加载，修改CLIP的默认NEG INF为-1e4，这样fp16 O2不会异常。 #3789
- 修复 pypi 自动化发包流程配置 #3626
PaddleNLP v2.4.2
New Features
Text summarization应用
- 增Pegasus中文文本摘要应用，支持Taskflow一键调用，支持FasterGeneration高性能推理，训练推理部署全流程打通。#3275
Question generation
- 新增问题生成解决方案，提供基于UNIMO-Text和T5的通用问题生成预训练模型，支持Taskflow一键调用，支持FasterGeneration高性能推理，训练推理部署全流程打通。 #3410 #3438 #3560
Machine Translation
- FasterMBart 支持动转静导出 #3367 #3356
- MBart tokenizers 升级重构，支持最新 tokenizer 所有功能 #3323
- 分离
MBartTokenizer和MBart50Tokenizer，MBart50Tokenizer支持AutoTokenizer，MBartTokenizer和MBart50Tokenizer支持自定义 sentence piece 参数 #3323
Pipelines
Taskflow
- 优化Taskflow定制模型使用体验，增加模型参数文件的更新检查机制。 #3506
Bug Fix
- 修复 MBart 限制模型本身翻译语言的问题 #3356
- 修复 CodeGen 生成时未使用 token type ids 的问题 #3348
- 修复 CodeGen 自适应生成 attention mask 错误 #3348
- 修复 T5 在
use_cache=False情况下解码出错问题 #3115 - 修复文本摘要taskflow不能加载自定义模型的bug #3533
- 修复问题生成预测时的bug #3524
- 修改uie训练代码中utils.py文件中result变量未定义的问题 #3490
- FAQ Finance修复Paddle Serving 在windows上的bug。#3491
- 修复Pipelines解析docx文档，文本和图片出现在同一个paragraph的情况。 #3546
- 修复语义索引的文本分类的数据说明。#3551
Others
- 新增 T5 对 gated-silu 支持 #3115
- 升级 T5Tokenizer 以支持 PaddleNLP 最新功能 #3115
- 新增 T5 对 4D attention mask 支持 #3115
- 新增 T5 支持以字典形式返回 #3370
- FasterGeneration 支持 PaddlePaddle 2.4.0-rc0 及以上版本编译 #3545
- UnifiedTransformer 支持自适应生成
position_ids，token_type_ids，attention mask等功能 #3177 - UNIMO-Text 支持自适应生成
position_ids，token_type_ids，attention mask等功能 #3349
PaddleNLP v2.4.1
New Features
ERNIE-Layout 文档智能大模型
- 新增多语言跨模态文档预训练模型ERNIE-Layout，新增Benchmark及基于ERNIE-Layout的各类下游任务的微调及部署示例。#3183
- 新增DocPrompt文档抽取问答模型，支持Taskflow一键调用。#3183
Pipelines 更新
- 新增Docker cuda11.2镜像，并提供Docker编译教程。#3315
- 新增Pipelines批量处理数据。 #3432
- 新增一些用户反馈的FAQ和README文档的优化。 #3237
- 新增Milvus 2.1的支持。#3283
Question Generation
Compression API
Prompt API
- 新增 Prompt API 使用文档。#3362
Bug Fix
- 修复了小样本文本分类中的失效链接以及在 windows 平台上推理时的数据类型问题。#3339 #3426
- FAQ Finance 的Milvus升级为2.1版本，文档优化。#3267 #3430
- 基于检索的文本分类代码简化和README优化。 #3322
- Neural Search的文档优化。#3350
- 修复了UIE的Dataloader在加载数据时可能导致内存溢出的问题。#3381
- 修复DuEE序列标注代码导包错误。#2853
- 修复Pillow warning问题。 #3404 和 #3457
- 更新artist模型的激活函数，修复dallebart中的warning，#3106
- 修复Ernie tokenizer当中模型名称类型缺失的问题 #3423
- 修复Bert单测中CI没检测到的Bug #3422
- 修复动转静过程中对OrderedDict数据类型不支持的问题 #3364
- 修复 bigru_crf 推理随机hang的问题。 #3418