PaddleNLP 2.4.0 Release Note Candidate

[wawltor]

New Features

Pipelines

•  新增 Pipelines支持的RocketQA模型的Benchmarks。 Add Benchmark README.md& Optimize Pipelines README.md #3160
• Pipelines支持Docker和Docker-compose两种方式一键部署。 Add Docker images& Docker compose files for pipelines #3135
• 新增智能问答，语义索引，FAQ智能问答的教程。 Update search tutorials for pipelines and README #3092 Add FAQ tutorials for pipelines #3151
• RocketQA的CrossEncoder支持Taskflow一键调用。 Add text semantic matching for taskflow #3003
• 新增FAQ文档，模型介绍文档，优化Windows的安装文档。 Update faq.md for faiss run error for pipelines #3186

CodeGen

• 新增CodeGen代码生成模型。[CodeGen] Add CodeGen model for code generation #2641
• CodeGen支持Taskflow一键调用。 Add CodeGen to taskflow #2754
• CodeGen支持FasterGeneration高性能推理，可通过GitHub Copilot插件调用，支持自定义数据训练。Add FasterCodeGen/FasterGPTJ #3017

Text2Image

• 新增Dalle-mini文图生成模型。[NEW MODEL]Add DALL-E mini Model #2917
• 新增阿里EasyNLP中的文图文图生成模型。Add EasyNLP Text2Image model #2968
• 将Dalle-mini和阿里EasyNLP的文图生成模型接入到TaskFLow。Add Text2Image into Taskflow #2988 、 update text2image taskflow #3040 。
• 新增CLIP模型、CLIP+DiscoDiffusion文图生成以及CLIP+StableDiffusion代码。[NEW MODEL CLIP] Add disco diffusion clip vitb32 #3072
• 新增Ernie-ViL2.0模型以及Ernie-ViL2.0+DiscoDiffusion文图生成代码。Add disco diffusion ernievil vitb16 #3118
• 将CLIP+DiscoDiffusion、CLIP+StableDiffusion、Ernie-ViL2.0+DiscoDiffusion文图生成模型接入到TaskFlow。 add disco diffusion stable diffusion into taskflow #3198

TextClassification

• 新增基于预训练模型微调的文本分类多分类、多标签、层次分类的全流程方案。Change Prune Module by Compression API in Text Classification Application #3087
• 文本分类预训练模型微调支持多语言预训练模型ERNIE M text classification bug fix & support ernie m #3184
• 新增提示学习（小样本）的文本分类多分类、多标签、层次分类方案。[few-shot] Update README #3104
• 新增基于语义索引的多分类、层次分类方案。Add Retrieval based multi class classification #3180
• 新增数据增强API Data augmentation API name change & bug fix #2956
• 新增分析（analysis）模块，分析模型表现并提供稀疏数据筛选、脏数据清洗、数据增强三种调优策略 add analysis module in text classification application #3011

Prompt Learning

新增Prompt Learning训练框架，支持PET、P-Tuning、RGL等经典模型的快速实现。#2894

Neural Search

• 新增RocketQA的CrossEncoder模型，并支持加载到pipelines中。Add CrossEncoder and Integrate it into pipelines #3196
• Neural Search的召回模型换成 基于ERNIE3.0的rocketqa模型，并支持加载到Pipelines中。 Integrate Neural Search models into Pipelines #3172

UIE

新增多语言模型UIE-M-Base和UIE-M-Large，支持中英文混合抽取及Taskflow一键调用。#3192
新增基于封闭域模型GlobalPointer的UIE数据蒸馏方案，支持Taskflow一键部署。#3136

Compression API

• 新增 模型压缩 API。模型压缩 API 适用于 ERNIE 类模型的模型压缩，目前提供基于 DynaBERT 的裁剪和静态离线量化功能，已经在文本分类、语义匹配、序列标注、阅读理解等任务上进行验证，基本达到精度无损。 Add model compression API #2777

TextGeneration

• Transformer 支持自定义激活函数 Transformer add activate option #3158
• Generation API 支持自定义 logits_processor Add unit tests for generation models #3018
• Generation API 支持 get_decoder_start_token_id() 方法获取模型 decoder_start_token_id Add unit tests for generation models #3018
• BART 模型支持 get_input_embeddings() 和 set_input_embeddings() 方法获取 embeddings Add unit tests for generation models #3018
• GPT 模型支持 get_vocab() 方法获取词表 Add unit tests for generation models #3018
• GPT 模型支持 0/1 attention mask 输入 Add GPT ut #3133
• GPT 模型支持 add bos token 功能 Add GPT ut #3133
• FasterGeneration 预测库联编支持 onnx 依赖引入 Support FasterTransformer compiled with paddle inference lib with onnx #2463

TextSummarization

• 新增文本摘要Application，打通高性能推理部署，支持TaskFlow一键调用。Add text summary application #2971

Bug Fix

• 批量新增模型model_max_input_size配置字段 [BugFix] Add max model input sizes #3127
• 修复FasterGeneration部分模型Sampling解码出core的问题。Fix sampling decoding when model without parallel #2561
• 修复 UNIMOText 在不使用加速特性情况下生成出错问题 Fix UNIMOText eval failed when use_faster=False #2877
• 修复 FasterGeneration 在基于采样解码策略下性能不稳定的问题 Fix FT sampling performance issue #2910
• 修复 BART tokenizer 获取 bos_token_id 出错问题 Fix bart tokenizer #3058
• 修复 BART tokenizer 无法设置 model_max_length 问题 Add unit tests for generation models #3018
• 修复 Taskflow的文本相似度在Windows上dtype引起的预测失败问题 Fix dtype bug of text similarity #3188
• 修复offset-mapping 针对于不同 tokenizer 的支持问题 [Bugfix] enhance offset_mapping to fit more tokenizers #3858
• 修复 readthedocs 官网对于 paddle 版本依赖的问题 [Bugfix] fix readthedocs website building error #3859
• 修复 tokenzier 多进程下载的 bug [BugFix]fix tokenizer multi-download #3965
• 修复 roberta Configuration 针对于基类名称出错的问题 [BugFix] fix model_type word #4036

Others

• 支持FasterGPT的word_embeddings 和 lm_head.decoder_weight的权重不共享。FasterGPT share word_embeddings weight #2953
• 重构RoFormer，新增RoFormerForCausalLM类，支持roformer-sim相似句生成 。Refactor RoFormer Model #3049
• 更新Ernie模型，当type_vocab_size=0时，表示不使用token_type_id。 [Update Ernie] if type_vocab_size == 0 we do not use token type id #3075
• 新增Ernie-Tiny模型的benchmark。 add ernie-tiny benchmark #3100
• 更新Bert预训练时混合精度的配置，amp level改为O2。 update bert tipc amp level O2 #3080
• 新增XLM模型。[NEW MODEL] Add_XLM_model #2080
• 转换Langboat/mengzi-t5-base-mt权重，并新增Zero Shot使用样例，Add T5 zeroshot demo and Add NEW weight #3116
• FasterBART支持动转静和高性能推理。[FasterBART] Suppport dygraph to static and inference #2519
• 添加 PretrainedConfig 针对于HF Hub 兼容的问题 [NewFeature] add hf config solution #4035

New Contributors

[github-actions]

This issue is stale because it has been open for 60 days with no activity. 当前issue 60天内无活动，被标记为stale。