Transformer、GPT2、BERT pre-training and fine-tuning from scratch
Notebooks provides model building, pre-training, and fine-tuning code.
Printing logs to output data dimension information helps understand the above process,check the blogs below.
运行环境:Google Colab
LLM-from-scratch-1.图解tokenization
LLM-from-scratch-3.图解Transformer(一)
LLM-from-scratch-4.图解Transformer(二)
LLM-from-scratch-6.从零实现Transformer翻译模型
LLM-from-scratch-8.从零实现GPT2预训练
LLM-from-scratch-9.从零实现GPT2指令微调
LLM-from-scratch-10.从零实现GPT2 RLHF
LLM-from-scratch-11.从零实现GPT2任务微调
LLM-from-scratch-13.从零实现Bert预训练
LLM-from-scratch-14.从零实现Bert微调
LLM-from-scratch-17.大模型应用之文本分类
LLM-from-scratch-18.大模型应用之情感分析
LLM-from-scratch-19.大模型应用之聊天机器人
LLM-from-scratch-20.大模型应用之LangChain重新教你做聊天机器人
LLM-from-scratch-21.大模型应用之检索增强生成RAG
LLM-from-scratch-22.大模型应用之微调实践
LLM-from-scratch-23.大模型应用之给聊天机器人加个耳朵和嘴巴