一句话:你备战大模型面试时,希望有人帮你把所有核心知识点整理清楚——这个仓库就是干这个的。
每篇笔记包含:面试高频考点 + 核心原理 + 外部图解 + 原始论文 + 视频讲解 + 工程落地追问。
- LLM 从输入到输出:用一条链路讲清 token、embedding、Transformer、logits、解码
- LLM 能力来源与 Scaling Law:解释能力从数据、参数、计算和对齐中怎么来
- 从训练到部署:LLM 生命周期:串起数据、预训练、后训练、评估、部署和反馈闭环
- Embedding 与向量检索:讲清语义检索、Hybrid Search、Rerank 和向量库选型
- 模型网关与成本治理:把模型路由、缓存、降级、成本监控讲成生产系统能力
- LLM 安全与红队:覆盖 Prompt Injection、RAG 权限、Agent 工具安全和审计
- Transformer 架构详解:补了官方论文架构图和快速回答模板
- LoRA 及参数高效微调(PEFT):补了 LoRA 原论文图和工程落地说明
- RAG 检索增强生成:补了 NVIDIA 官方流程图和更工程化的拆解
- MoE 混合专家模型:补了官方路由图和 serving 难点说明
- SFT 有监督微调:补了 Self-Instruct 论文图和数据验收清单
- RLHF / DPO / PPO 对比:补了 InstructGPT/RLHF 三阶段论文图和 PPO 工程角色说明
- 推理加速:补了 FlashAttention 原论文图和 TTFT/TPOT 诊断维度
- 解码策略:补了 Nucleus Sampling 论文图和参数联调建议
95 道高频考题,15 大模块,支持搜索、标签筛选、一键展开、模拟面试问答诊断和薄弱点判断测试。测试结果会直接跳转到 GitHub 上对应的 notes 文档。面试前 30 分钟速刷专用。
如果你觉得有用,点个 ⭐ Star 是对我最大的鼓励!
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 00-01 | LLM 从输入到输出 | 新增:从 tokenization 到 decoding 的完整链路 |
| 00-02 | LLM 能力来源与 Scaling Law | 新增:解释参数、数据、计算、对齐与涌现能力 |
| 00-03 | 从训练到部署:LLM 生命周期 | 新增:数据、预训练、后训练、评估、部署、监控闭环 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 01 | LLM 核心名词解释 | 补全 Token / Attention / KV Cache 等 30+ 核心术语 |
| 02 | 分词算法(BPE / WordPiece / SentencePiece) | 添加 Karpathy 视频、官方 tokenizer 工具链和论文链接 |
| 03 | Transformer 架构详解 | 添加 3Blue1Brown 可视化视频 + 原版论文 |
| 04 | 位置编码(RoPE / ALiBi / sinusoidal) | 补充 RoPE / ALiBi 论文 + 外推方案对比 |
| 05 | 主流模型架构对比(LLaMA / Qwen / DeepSeek) | MLA、RMSNorm、SwiGLU 等架构细节 |
| 06 | 国产主流模型全景(DeepSeek / Qwen / GLM / MiniMax) | 新增:DeepSeek-V3/R1/V4、Qwen3混合思考、MiniMax Lightning Attention 🔥 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 07 | 预训练 vs 微调 vs RLHF | 补充 InstructGPT / LIMA 论文、三阶段流程和训练工具链 |
| 08 | SFT 有监督微调 | 补充数据质量分析 + loss 计算细节 |
| 09 | RLHF / DPO / PPO 对比 | 添加李沐精读视频 + DPO 完整推导 |
| 10 | LoRA 及参数高效微调(PEFT) | 添加论文精读视频 + QLoRA 细节 |
| 11 | 预训练数据处理 | 数据清洗、去重、配比策略、FineWeb/Dolma/Datatrove 链接 |
| 12 | 2025 前沿对齐技术(RLVR / DAPO / RLAIF) | 新增:DAPO/Dr.GRPO/OpenRLHF/veRL/Constitutional AI 🔥 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 13 | KV Cache 原理与优化 | 补充 Prefill/Decode 外部图、显存公式、GQA / PagedAttention |
| 14 | 量化(INT8 / INT4 / GPTQ / AWQ) | 补充 GPTQ / AWQ / SmoothQuant 论文 |
| 15 | 解码策略(Greedy / Beam / Sampling) | 补充 Top-p 论文 + 场景使用建议 |
| 16 | 推理加速(Flash Attention / vLLM / 投机采样) | 补充 Flash Attention / 投机采样 4 篇论文 |
| 17 | 推理框架对比(vLLM / SGLang / llama.cpp) | 新增:RadixAttention、GGUF量化、Disaggregated P/D、选型指南 🔥 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 18 | 数据并行与模型并行 | ZeRO 三阶段、张量/流水线并行对比 |
| 19 | 显存优化技巧 | 梯度检查点、混合精度、显存占用公式 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 20 | MoE 混合专家模型 | 补充 Mixtral / Switch Transformer 论文 |
| 21 | RAG 检索增强生成 | 添加 Self-RAG 论文 + LangChain 视频 |
| 22 | Agent 与工具调用 | 补充 ReAct 外部图、Toolformer 论文和工具调用边界 |
| 23 | Prompt Engineering | CoT / ToT / Self-Consistency / 提示注入防御 |
| 24 | 大模型幻觉与评估 | 幻觉分类、MMLU/HumanEval、LLM-as-Judge |
| 25 | 推理时计算扩展(Test-Time Compute) | DeepSeek-R1、GRPO、PRM 全面解析 |
| 26 | 多模态大模型(VLM) | GPT-4o/InternVL 架构、视觉编码器对比 |
| 27 | GraphRAG 与高级 RAG | GraphRAG、HyDE、Self-RAG、RAGAS 评估 |
| 28 | 评估框架与 Harness | 新增:lm-eval-harness、Open LLM Leaderboard v2、OpenCompass 🔥 |
| 29 | Agent 框架与 MCP 协议 | 新增:LangGraph、AutoGen、OpenAI Agents SDK、MCP/A2A 协议 🔥 |
| 编号 | 主题 | 最近更新 |
|---|---|---|
| 30 | LLM 应用架构与 LLMOps | 新增:LLMOps 外部图、生产架构、发布回滚、商业项目指标 |
| 31 | 生产 RAG 排障指南 | 新增:NVIDIA RAG 图、生产排障 Runbook、评估集构建 |
| 32 | Embedding 与向量检索 | 新增:SBERT 双塔图、Hybrid Search、Rerank、向量库排障 |
| 33 | 上下文工程与长上下文应用 | 新增:Lost in the Middle 图、上下文编排、长上下文排障 |
| 34 | 模型网关与成本治理 | 新增:模型路由、缓存、限流、降级、成本归因 |
| 35 | LLM 安全与红队 | 新增:Prompt Injection、RAG 权限、Agent 工具安全、审计日志 |
我单独整理了一份 项目实战库,按主题拆成 RAG / 微调 / 推理部署 / Agent / 多模态 / 评估 六类,每类都有 GitHub 项目和 Kaggle 数据入口。
如果你只想先选一个最容易做成作品的方向,建议顺序是:
- 本地 RAG
- QLoRA 微调
- LangGraph 多 Agent
- 商业级 RAG 工单助手:企业知识库问答、工单分流、审计与评估指标。
- LLM 面试模拟与回答诊断实验室:把面试笔记转成 SFT 数据,提供回答诊断 CLI、模拟追问和 QLoRA 微调脚本模板。
学一个人的笔记,不如一群人共同维护一份高质量知识库。
你可以贡献:
- 📝 完善某个知识点的讲解(更清晰的例子、更准确的描述)
- 🎬 推荐优质视频(B 站 / YouTube 都欢迎)
- 📄 补充新的论文(最新进展、重要综述)
- 🌟 新增知识点(多模态、长文本、代码大模型……)
# Fork → 新建分支 → 修改 → PR
git checkout -b feat/your-topic
git commit -m "补充:xxx 知识点 / 添加:xxx 视频"
git push origin feat/your-topic| 更新内容 |
|---|
| 🎉 初始化仓库,完成 LLM 核心名词解释 |
| 📚 补全核心知识点(基础 / 训练 / 推理 / 工程) |
| 📄 为所有知识点补充原始论文 arxiv 链接 |
| 🎬 添加 Karpathy / 3Blue1Brown / 李沐等优质视频资源 |
| 🗂️ 重构目录:按主题分为 7 大模块,覆盖 LLM 总览、基础架构、训练对齐、推理优化、分布式训练、前沿专题、工程实践 |
| 🚀 新增 2026 前沿专题:TTC/DeepSeek-R1/GRPO、多模态VLM、GraphRAG |
| ⚡ 升级面试速记网页(cheatsheet.html):95 道高频考题、15 大模块,支持搜索/筛选、模拟面试诊断、薄弱点测试和 GitHub notes 跳转 |
| 🇨🇳 新增国产模型全景:DeepSeek-V3/R1、Qwen3混合思考、GLM-4、MiniMax Lightning Attention |
| 🔧 新增前沿框架:vLLM/SGLang/llama.cpp推理框架对比、DAPO/RLVR对齐技术、lm-eval-harness评估、LangGraph/MCP协议 |
| 🖼️ 补充外部图解和资料链接:全库 19 张外部图、400+ 外部链接,覆盖 Transformer、RAG、KV Cache、Agent、LLMOps、Embedding、长上下文等核心主题 |
⭐ Star 一下,下次面试前不慌 ⭐
一个人走得快,一群人走得远。欢迎 PR 共建!