Transformers 库的学习笔记

Transformers库的学习笔记。

原视频地址：Transformers

原作者：https://github.com/zyds

这个仓库包含了与 Hugging Face Transformers 库相关的学习笔记、代码片段、教程和示例，在原作者的基础上进行了部分修改，更加细致，更适合初学者。

代码结构

root
│  01_基础知识篇
└─ │  01
   │  02_Pipline
   │  ...
   └─ xx 
      │  xx.py
      │  xx.md # 由ChatGPT生成的代码解释，Prompt：https://bailian.console.aliyun.com/#/prompt-manage
│  02_实战演练篇
│  03_高效微调篇
│  README.md
│  Image
│  ...
│  xx

目录

01_基础知识篇

组件名称	笔记	官方文档	编辑时间
Pipeline	Pipelline	Pipeline	2025/2/26
Tokenizer	Tokenizer	Tokenizer	2025/2/26
Model	Model Model实战	AutoModel	2025/2/27
Datasets	Datasets
Evaluate	Evaluate		2025/2/27
Trainer	Trainer		2025/2/28

02_实战演练篇

组件名称	笔记	官方文档	编辑时间
如何降低显存占用	降低显存占用	Methods and tools for efficient training on a single GPU	2025/2/28
命名实体识别	命名实体识别		2025/3/01
机器阅读理解	截断策略 滑动窗口（待完成）		2025/3/02
多项选择	多项选择		2025/3/03
文本相似度	分类方法 回归方法 回归优化（待完成）		2025/3/04
检索对话机器人	检索对话机器人		2025/3/05
预训练模型	掩码语言模型 因果语言模型		2025/3/07
文本摘要	T5模型 GLM模型（待完成）		2025/3/08
对话机器人	对话机器人		2025/3/08

03_高效微调篇

组件名称	笔记	官方文档	编辑时间
BitFit	BitFit		2025/3/09
Prompt-Tuning	Prompt-Tuning		2025/3/09
PreFix	PreFix		2025/3/10
LoRA	LoRA 合并模型		2025/3/10
IA3	IA3		2025/3/11
P-Tuning	P-Tuning		2025/3/11
PEFT进阶操作	PEFT进阶操作		2025/3/11

扩展知识

组件名称	笔记	编辑时间
评价指标	评价指标	2025/2/28
修改Huggingface文件默认下载地址	修改Huggingface默认存储地址	2025/3/01
Checkpointing	Checkpointing	2025/3/01