Skip to content

laoshan-song/Awesome-LLM-Interview

Repository files navigation

🧠 Awesome LLM Interview

大模型面试知识点精华整理 · 每日持续更新

GitHub stars GitHub forks PRs Welcome License 持续更新


这个仓库是什么?

一句话:你备战大模型面试时,希望有人帮你把所有核心知识点整理清楚——这个仓库就是干这个的。

每篇笔记包含:面试高频考点 + 核心原理 + 外部图解 + 原始论文 + 视频讲解 + 工程落地追问

🔥 推荐优先看这几篇

⚡ 面试速记网页

→ 打开速记网页(在线访问)

95 道高频考题,15 大模块,支持搜索、标签筛选、一键展开、模拟面试问答诊断和薄弱点判断测试。测试结果会直接跳转到 GitHub 上对应的 notes 文档。面试前 30 分钟速刷专用。

如果你觉得有用,点个 ⭐ Star 是对我最大的鼓励!


📚 知识点目录

🧭 零、LLM 总览

编号 主题 最近更新
00-01 LLM 从输入到输出 新增:从 tokenization 到 decoding 的完整链路
00-02 LLM 能力来源与 Scaling Law 新增:解释参数、数据、计算、对齐与涌现能力
00-03 从训练到部署:LLM 生命周期 新增:数据、预训练、后训练、评估、部署、监控闭环

🔤 一、基础架构

编号 主题 最近更新
01 LLM 核心名词解释 补全 Token / Attention / KV Cache 等 30+ 核心术语
02 分词算法(BPE / WordPiece / SentencePiece) 添加 Karpathy 视频、官方 tokenizer 工具链和论文链接
03 Transformer 架构详解 添加 3Blue1Brown 可视化视频 + 原版论文
04 位置编码(RoPE / ALiBi / sinusoidal) 补充 RoPE / ALiBi 论文 + 外推方案对比
05 主流模型架构对比(LLaMA / Qwen / DeepSeek) MLA、RMSNorm、SwiGLU 等架构细节
06 国产主流模型全景(DeepSeek / Qwen / GLM / MiniMax) 新增:DeepSeek-V3/R1/V4、Qwen3混合思考、MiniMax Lightning Attention 🔥

⚙️ 二、训练与对齐

编号 主题 最近更新
07 预训练 vs 微调 vs RLHF 补充 InstructGPT / LIMA 论文、三阶段流程和训练工具链
08 SFT 有监督微调 补充数据质量分析 + loss 计算细节
09 RLHF / DPO / PPO 对比 添加李沐精读视频 + DPO 完整推导
10 LoRA 及参数高效微调(PEFT) 添加论文精读视频 + QLoRA 细节
11 预训练数据处理 数据清洗、去重、配比策略、FineWeb/Dolma/Datatrove 链接
12 2025 前沿对齐技术(RLVR / DAPO / RLAIF) 新增:DAPO/Dr.GRPO/OpenRLHF/veRL/Constitutional AI 🔥

🚀 三、推理与优化

编号 主题 最近更新
13 KV Cache 原理与优化 补充 Prefill/Decode 外部图、显存公式、GQA / PagedAttention
14 量化(INT8 / INT4 / GPTQ / AWQ) 补充 GPTQ / AWQ / SmoothQuant 论文
15 解码策略(Greedy / Beam / Sampling) 补充 Top-p 论文 + 场景使用建议
16 推理加速(Flash Attention / vLLM / 投机采样) 补充 Flash Attention / 投机采样 4 篇论文
17 推理框架对比(vLLM / SGLang / llama.cpp) 新增:RadixAttention、GGUF量化、Disaggregated P/D、选型指南 🔥

🖥️ 四、分布式训练

编号 主题 最近更新
18 数据并行与模型并行 ZeRO 三阶段、张量/流水线并行对比
19 显存优化技巧 梯度检查点、混合精度、显存占用公式

🔬 五、前沿专题

编号 主题 最近更新
20 MoE 混合专家模型 补充 Mixtral / Switch Transformer 论文
21 RAG 检索增强生成 添加 Self-RAG 论文 + LangChain 视频
22 Agent 与工具调用 补充 ReAct 外部图、Toolformer 论文和工具调用边界
23 Prompt Engineering CoT / ToT / Self-Consistency / 提示注入防御
24 大模型幻觉与评估 幻觉分类、MMLU/HumanEval、LLM-as-Judge
25 推理时计算扩展(Test-Time Compute) DeepSeek-R1、GRPO、PRM 全面解析
26 多模态大模型(VLM) GPT-4o/InternVL 架构、视觉编码器对比
27 GraphRAG 与高级 RAG GraphRAG、HyDE、Self-RAG、RAGAS 评估
28 评估框架与 Harness 新增:lm-eval-harness、Open LLM Leaderboard v2、OpenCompass 🔥
29 Agent 框架与 MCP 协议 新增:LangGraph、AutoGen、OpenAI Agents SDK、MCP/A2A 协议 🔥

🧱 六、工程实践

编号 主题 最近更新
30 LLM 应用架构与 LLMOps 新增:LLMOps 外部图、生产架构、发布回滚、商业项目指标
31 生产 RAG 排障指南 新增:NVIDIA RAG 图、生产排障 Runbook、评估集构建
32 Embedding 与向量检索 新增:SBERT 双塔图、Hybrid Search、Rerank、向量库排障
33 上下文工程与长上下文应用 新增:Lost in the Middle 图、上下文编排、长上下文排障
34 模型网关与成本治理 新增:模型路由、缓存、限流、降级、成本归因
35 LLM 安全与红队 新增:Prompt Injection、RAG 权限、Agent 工具安全、审计日志

🛠️ 学完可做项目

我单独整理了一份 项目实战库,按主题拆成 RAG / 微调 / 推理部署 / Agent / 多模态 / 评估 六类,每类都有 GitHub 项目和 Kaggle 数据入口。

→ 打开项目库

如果你只想先选一个最容易做成作品的方向,建议顺序是:

  1. 本地 RAG
  2. QLoRA 微调
  3. LangGraph 多 Agent

🧪 仓库内实战项目


🤝 欢迎一起完善

学一个人的笔记,不如一群人共同维护一份高质量知识库。

你可以贡献:

  • 📝 完善某个知识点的讲解(更清晰的例子、更准确的描述)
  • 🎬 推荐优质视频(B 站 / YouTube 都欢迎)
  • 📄 补充新的论文(最新进展、重要综述)
  • 🌟 新增知识点(多模态、长文本、代码大模型……)
# Fork → 新建分支 → 修改 → PR
git checkout -b feat/your-topic
git commit -m "补充:xxx 知识点 / 添加:xxx 视频"
git push origin feat/your-topic

🗓️ 更新日志

更新内容
🎉 初始化仓库,完成 LLM 核心名词解释
📚 补全核心知识点(基础 / 训练 / 推理 / 工程)
📄 为所有知识点补充原始论文 arxiv 链接
🎬 添加 Karpathy / 3Blue1Brown / 李沐等优质视频资源
🗂️ 重构目录:按主题分为 7 大模块,覆盖 LLM 总览、基础架构、训练对齐、推理优化、分布式训练、前沿专题、工程实践
🚀 新增 2026 前沿专题:TTC/DeepSeek-R1/GRPO、多模态VLM、GraphRAG
⚡ 升级面试速记网页(cheatsheet.html):95 道高频考题、15 大模块,支持搜索/筛选、模拟面试诊断、薄弱点测试和 GitHub notes 跳转
🇨🇳 新增国产模型全景:DeepSeek-V3/R1、Qwen3混合思考、GLM-4、MiniMax Lightning Attention
🔧 新增前沿框架:vLLM/SGLang/llama.cpp推理框架对比、DAPO/RLVR对齐技术、lm-eval-harness评估、LangGraph/MCP协议
🖼️ 补充外部图解和资料链接:全库 19 张外部图、400+ 外部链接,覆盖 Transformer、RAG、KV Cache、Agent、LLMOps、Embedding、长上下文等核心主题

⭐ Star 一下,下次面试前不慌 ⭐

一个人走得快,一群人走得远。欢迎 PR 共建!

About

LLM interview prep notes: Transformer, RLHF, DPO, LoRA, KV Cache,RAG, MoE, distributed training & 2026 frontier topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors