Large Language Model & GPT-4 Tech and Industry Resource Map

(大语言模型 & 多模态大模型 & 生成式预训练Transformer-N 技术与产业资源汇总)

1. Discussion Groups(讨论小组汇总)	5. Model Resources(模型资源)
2. Tech Guide(技术入门)	6. Application Open Source Projects(应用开源项目)
3. Investment Analysis(投资分析)	7. Related Discussion(相关讨论)
4. Industry Analysis(产业分析)	8. Web& Paper (网页论文资源)

This resource map is for my child and young developers that will face a AGI world in the future.

It has been created to help equip children and young developers with the knowledge and skills that will be necessary to navigate the rapidly-evolving world of AGI. As we continue to develop and rely on AI technologies, it is becoming increasingly important for younger generations to be prepared for the challenges and opportunities that lie ahead. In order to ensure that they are ready for this future, we have compiled a comprehensive list of resources and tools that will help them to understand the basics of AGI.

1. Discussion Groups(讨论小组汇总)

大模型算法技术	大模型投资创业	大模型应用方案	大模型算力供需
AI大模型·GPT-4算法技术讨论群-2	AI大模型·GPT-4创业投资讨论群-2	AI大模型·GPT-4应用方案讨论群	AI大模型·GPT-4算力供需交流群
http://c.nxw.so/cgpt 点入链接加群助手	http://c.suo.nz/cinv 点入链接加群助手

GPGPU	存算一体/存储器	车规与域控芯片	EDA大模型
GPGPU与先进GPU设计讨论群-2	存算一体与存储器技术讨论群-2	车规与域控制器芯片设计讨论群	开源EDA与EDA大模型讨论群

DSA	AI芯片与GPGPU编译器	RISC-V
AI芯片与DSA设计讨论群	AI芯片与GPGPU编译器讨论群	RISC-V架构与设计讨论群

2. Tech Guide(技术入门)

2.1 GPT-4 Tech Report(GPT-4技术报告)

Classification	Article
	陈巍：GPT-4核心技术分析报告（2）——GPT-4的技术分析（收录于GPT-4/ChatGPT技术与产业分析）
	https://zhuanlan.zhihu.com/p/620087339
	陈巍：GPT-4核心技术分析报告（5）——GPT-4的算力要点与芯片（收录于GPT-4/ChatGPT技术与产业分析）
	https://zhuanlan.zhihu.com/p/611464068
	陈巍谈芯：GPT-4大模型硬核解读 （收录于GPT-4/ChatGPT技术与产业分析）
	https://mp.weixin.qq.com/s/nV2ynNtKmMNkADA8Wg4TVQ

2.2 ChatGPT Tech Report(ChatGPT技术报告)

Classification	Article
	陈巍：ChatGPT发展历程、原理、技术架构和产业未来 （收录于GPT-4/ChatGPT技术与产业分析）
	https://zhuanlan.zhihu.com/p/590655677
	陈巍：ChatGPT报告：技术详解和产业未来（slide形式，替换了一些新的内容）
	https://zhuanlan.zhihu.com/p/608917240
	ChatGPT/InstructGPT详解
	https://zhuanlan.zhihu.com/p/590311003
	【强化学习 229】ChatGPT/InstructGPT
	https://zhuanlan.zhihu.com/p/589827115
	OpenAI的AGI语言智能演进之路：GPT1到ChatGPT
	https://zhuanlan.zhihu.com/p/597263206

2.3 Large Language Model Technoglogy(大模型技术)

Classification	Article
Basic	通向AGI之路：大型语言模型（LLM）技术精要
	https://zhuanlan.zhihu.com/p/597586623
RLHF	解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗
	https://zhuanlan.zhihu.com/p/602458131
Training(训练)	为什么chatgpt的上下文连续对话能力得到了大幅度提升？
	https://www.zhihu.com/question/575481512/answer/2852937178
PPO算法讲解	Proximal Policy Optimization (PPO) Explained
	https://towardsdatascience.com/proximal-policy-optimization-ppo-explained-abed1952457b
PPO算法讲解	PARL框架下简单入门 Proximal Policy Optimization (PPO)
	https://aistudio.baidu.com/aistudio/projectdetail/632270
Transformer	Transformer 之功能概览
	https://zhuanlan.zhihu.com/p/604444663
Transformer	Transformer模型详解
	https://zhuanlan.zhihu.com/p/338817680
Prompt	Prompt-based Language Models：模版增强语言模型小结
	https://zhuanlan.zhihu.com/p/366771566
Chain of Thoughts	有了Chain of Thought Prompting，大模型能做逻辑推理吗？
	https://zhuanlan.zhihu.com/p/589087074
Knowledge Base	Quivr 基于OpenAI Embeddings构建本地知识库
	https://zhuanlan.zhihu.com/p/631038668
GPT Cache	GPTCache：通过缓存LLM查询成本降低 10 倍，速度提高 100 倍
	https://zhuanlan.zhihu.com/p/645601760

2.4 Application Guide(应用指南)

Classification	Article
Basic	LLMsPracticalGuide
	https://github.com/Mooler0410/LLMsPracticalGuide
Baisc	HuggingLLM
	https://github.com/datawhalechina/hugging-llm
Prompt	提示工程指南
	https://www.promptingguide.ai/zh
Prompt	面向开发者的 LLM 入门课程
	https://github.com/datawhalechina/prompt-engineering-for-developers

3. Investment Analysis(投资分析)

Classification	Article
	陈巍谈芯：GPT-4大模型硬核解读 （收录于GPT-4/ChatGPT技术与产业分析）
	https://mp.weixin.qq.com/s/nV2ynNtKmMNkADA8Wg4TVQ
	陈巍谈芯：ChatGPT发展历程、原理、技术架构和产业未来 （收录于先进AI技术深度解读）
	https://zhuanlan.zhihu.com/p/590655677
	ChatGPT带来的产业变革与投资机遇（九尾繁）
	ChatGPT研究框架
	https://github.com/chenweiphd/ChatGPT-Hub/blob/main/invest/ChatGPT%20research%20framwork-2023.pdf
	从CHAT-GPT到生成式AI：人工智能新范式，重新定义生产力-2023-02-宏观大势
	https://github.com/chenweiphd/LargeLanguageModel-and-GPT-4-Hub/blob/main/invest/%E4%BB%8ECHAT-GPT%E5%88%B0%E7%94%9F%E6%88%90%E5%BC%8FAI.pdf
	势如破竹的ChatGPT：未来将推动芯片市场长期强劲增长
	https://zhuanlan.zhihu.com/p/604194985

4. Industry Analysis(产业分析)

Classification	Article
	ChatGPT的技术演进路线与应用展望
	https://zhuanlan.zhihu.com/p/590380191
	chatGPT 会取代人的哪些工作？哪些人群的职业规划需要转变？
	https://www.zhihu.com/question/582809884/answer/2883146417
	可怕！颠覆性新科技ChatGPT将令十类人失业
	https://zhuanlan.zhihu.com/p/603655945

5. Model Resources(模型资源)

5.1 Foundation Model(基础模型)

5.1.1 Text Model(文本模型)

Model	Description & Link
ChatGLM	清华模型，针对中文问答和对话进行了优化
	https://github.com/THUDM/ChatGLM-6B
ChatGLM2-6B	在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，引入了GLM 的混合目标函数
	https://github.com/THUDM/ChatGLM2-6B
Chinese-LLaMA-Alpaca	中文LLaMA&Alpaca大语言模型
	https://github.com/ymcui/Chinese-LLaMA-Alpaca
BELLE	开源了基于BLOOMZ和LLaMA优化后的一系列模型，同时包括训练数据、相关模型、训练代码、应用场景等
	https://github.com/LianjiaTech/BELLE
Luotuo-Chinese-LLM	囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM, MOSS, LLaMA）进行二次微调的语言模型，指令微调数据集等
	https://github.com/LC1332/Luotuo-Chinese-LLM
Baichuan-7B	由百川智能开发的一个开源可商用的大规模预训练语言模型
	https://github.com/baichuan-inc/Baichuan-13B

5.1.2 Multimodal(多模态)

Model	Description & Link
VisualGLM-6B	开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B
	https://github.com/THUDM/VisualGLM-6B
VisCPM	开源的多模态大模型系列，支持中英双语的多模态对话能力（VisCPM-Chat模型）和文到图生成能力（VisCPM-Paint模型）
	https://github.com/OpenBMB/VisCPM

5.2 Domain Model(垂域模型)

5.3 Dataset(数据集)

5.3.1 Pre-train Dataset(预训练数据集)

Dataset	Description & Link
MNBVC	超大规模中文语料集，不但包括主流文化，也包括各个小众文化甚至火星文的数据
	https://github.com/esbatmop/MNBVC
WuDaoCorporaText	北京智源人工智能研究院（智源研究院）构建的大规模、高质量数据集，用于支撑大模型训练研究
	https://data.baai.ac.cn/details/WuDaoCorporaText
CLUECorpus2020	对Common Crawl的中文部分进行语料清洗，最终得到100GB的高质量中文预训练语料
	https://github.com/CLUEbenchmark/CLUECorpus2020
Argilla	Open-source data curation platform for LLMs，MLOps for NLP: from data labeling to model monitoring
	https://github.com/argilla-io/argilla

5.3.2 Finetune Dataset(精调数据集)

Dataset	Description & Link
Alpaca-CoT	统一了丰富的IFT数据
	https://github.com/PhoebusSi/Alpaca-CoT
BELLE-data-1.5M	self-instruct生成，使用了中文种子任务
	https://github.com/LianjiaTech/BELLE/tree/main/data/1.5M
Alpaca-GPT-4	self-instruct生成，使用了中文种子任务
	https://github.com/Instruction-Tuning-with-GPT-4/GPT-4-LLM

5.3.3 RLHF(人类反馈强化学习数据集)

Dataset	Description & Link
CValues	数据规模为145k的价值对齐数据集
	https://github.com/X-PLUG/CValues

5.4 Finetune

Item	Description & Link
LLaMA Efficient Tuning	基于PEFT的LLaMA微调框架
	https://github.com/hiyouga/LLaMA-Efficient-Tuning
ChatGLM Efficient Tuning	基于PEFT的高效ChatGLM微调
	https://github.com/hiyouga/ChatGLM-Efficient-Tuning

5.5 Compression(压缩)

Item	Description & Link
RPTQ4LLM	RPTQ: Reorder-Based Post-Training Quantization for Large Language Models
	https://github.com/hahnyuan/RPTQ4LLM

6. Application Open Source Projects(应用开源项目)

Classification	Article
	GPT-neo
	https://github.com/EleutherAI/gpt-neo
	一大波 ChatGPT 开源项目，诞生了
	https://zhuanlan.zhihu.com/p/590595246
	Open-Assistant（还未完成）
	https://github.com/LAION-AI/Open-Assistant
	Awesome ChatGPT implementations
	https://github.com/stars/acheong08/lists/awesome-chatgpt

7. Related Discussion(相关讨论)

Classification	Article
	阻碍国内团队研究 ChatGPT 这样产品的障碍有哪些，技术，钱，还是领导力？
	https://www.zhihu.com/question/570782945/answer/2795547780
	ChatGPT 这个项目会开源吗？
	https://www.zhihu.com/question/571390218/answer/2796908126
	ChatGPT会取代搜索引擎吗
	https://zhuanlan.zhihu.com/p/589533490
	ChatGPT 有多高的技术壁垒？国内外除了 OpenAI 还有谁可以做到类似程度？
	https://www.zhihu.com/question/581806122/answer/2880224101

8. Web& Paper (网页论文资源)

ChatGPT: Optimizing Language Models for Dialogue https://openai.com/blog/chatgpt/

GPT-1 论文：Improving Language Understanding by Generative Pre-Training https://link.zhihu.com/?target=https%3A//cdn.openai.com/research-covers/language-unsupervised/language\_understanding\_paper.pdf

GPT-2 论文：Language Models are Unsupervised Multitask Learners https://cdn.openai.com/better-language-models/language\_models\_are\_unsupervised\_multitask\_learners.pdf

GPT-3 论文：Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165

InstructGPT论文： Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155

huggingface解读RHLF算法：Illustrating Reinforcement Learning from Human Feedback (RLHF) https://huggingface.co/blog/rlhf

RHLF算法论文：Augmenting Reinforcement Learning with Human Feedback https://www.cs.utexas.edu/\~ai-lab/pubs/ICML\_IL11-knox.pdf

TAMER框架论文：Interactively Shaping Agents via Human Reinforcement https://www.cs.utexas.edu/\~bradknox/papers/kcap09-knox.pdf

PPO算法： Proximal Policy Optimization Algorithms https://arxiv.org/abs/1707.06347

思维链： Chain-of-Thought Prompting Elicits Reasoning in Large Language Models https://arxiv.org/pdf/2201.11903.pdf

Scaling Instruction-Finetuned Language Models https://arxiv.org/pdf/2210.11416.pdf

ChatGPT技术讨论小组 http://c.nxw.so/cgpt

Main Authors

CHEN Wei