这是一个面向长期学习和复盘的 Obsidian LLM-WIKI，主要整理大语言模型相关知识、论文资料、工程框架和实验经验。
仓库的目标是把资料逐步整理成可复用的知识网络：
原始资料
-> 资料索引
-> 概念笔记
-> 主题地图
-> 项目 / 实验沉淀
01-主题地图 是本仓库的知识导航层。它只负责主题路由和概念入口，不直接堆原始资料。
| 主题 | 说明 |
|---|---|
| 基础架构 | Tokenizer、Embedding、Transformer、Attention、位置编码、激活函数、多模态输入和接口协议 |
| 预训练 | 语言建模目标、数据、Scaling Law、优化闭环、compute budget 和基座能力形成 |
| 参数高效微调 | LoRA、QLoRA、Adapter、Prefix / Prompt Tuning 等低成本适配方法 |
| 后训练与对齐 | SFT、RLHF、PPO、DPO、GRPO、Rollout、Expert Iteration、Reasoning RL |
| 推理优化 | KV Cache、Flash Attention、MQA/GQA、MLA、稀疏注意力、vLLM 和推理服务 |
| 训练系统工程 | 显存、FLOPs、吞吐、并行、checkpoint、veRL、Ray、FSDP 等横切工程问题 |
.
├── 00-首页与索引/ # 主页、使用指南、工作规范、笔记规范
├── 01-主题地图/ # 主题导航层
├── 02-概念笔记/ # 正式概念页和部分框架学习笔记
├── 03-项目笔记/ # 项目上下文和项目总结
├── 04-实验与日志/ # 实验过程、调试记录和阶段日志
├── 05-资料摘录/ # 论文、报告、网页、对话等资料摘录和索引
├── 06-模板/ # 笔记模板
├── 07-待整理/ # 临时 inbox
├── 08-图片/ # Canvas、图片和附件
├── tools/ # GitHub 渲染辅助脚本
├── AGENTS.md # LLM / Codex 维护本仓库时的总规则
└── README.md
| 目录 | 角色 | 说明 |
|---|---|---|
00-首页与索引 |
控制层 | 仓库入口、LLM 工作规范、笔记规范、自检清单、处理日志 |
01-主题地图 |
导航层 | 总图和主主题页，帮助按主题进入知识网络 |
02-概念笔记 |
知识层 | 可复用概念、机制解释、方法对比和框架学习笔记 |
03-项目笔记 |
项目层 | 项目目标、项目结构、项目总结和应用案例 |
04-实验与日志 |
过程层 | 实验过程、排障记录、阶段复盘和产物说明 |
05-资料摘录 |
Source 层 | 原始资料、论文阅读、技术报告摘录和资料状态索引 |
06-模板 |
模板层 | 概念笔记、项目笔记等模板 |
07-待整理 |
Inbox | 临时材料，只进不久留 |
08-图片 |
附件层 | Obsidian Canvas、图片、Canvas 静态预览和其他附件 |
tools |
维护工具 | GitHub 渲染适配、Canvas 预览生成等脚本 |
如果你是第一次打开这个仓库，建议按下面顺序：
- 先看 LLM 全流程总览，建立整体框架。
- 再看 LLM 学习地图，选择具体主题。
- 进入对应主题页，例如 基础架构 或 后训练与对齐。
- 从主题页进入
02-概念笔记中的具体概念页。 - 需要追溯来源时，再回到 资料索引 和
05-资料摘录。
当前仓库主要覆盖：
- Transformer、Attention、位置编码、BPE、激活函数等基础结构
- KV Cache、Flash Attention、MHA/MQA/GQA、MLA、稀疏注意力等推理优化主题
- LoRA、参数高效微调和低成本适配方法
- RLHF、PPO、DPO、GRPO、Rollout、Expert Iteration、DAPO 等后训练与对齐主题
- Scaling Law、资源预算、FLOPs、显存估算等训练规划主题
- vLLM、veRL、Ray、FSDP 等系统工程和框架学习笔记
- Qwen2.5、Qwen2.5-VL、DeepSeek-V4、EAGLE-3、ReAct 等论文 / 报告资料摘录
这个仓库按 Obsidian vault 组织。直接用 Obsidian 打开仓库根目录即可。
需要注意：
- 仓库中的正文链接已尽量转换为标准 Markdown 相对链接，方便 GitHub 网页浏览；Obsidian 也可以打开这些链接。
.obsidian中只保留必要配置；本地缓存、插件、主题、工作区状态等已通过.gitignore排除。- Obsidian Canvas 源文件仍保留在
08-图片/*.canvas；GitHub 页面中使用08-图片/canvas-preview/*.svg作为静态预览。 - 如果新增或修改 Canvas / 双链，提交前运行
python3 tools/github_render.py，重新生成预览并把 Obsidian 双链转换成 GitHub 可渲染的 Markdown 链接。
本仓库用于个人学习、整理和知识索引。
- 论文、技术报告、项目页面等外部资料尽量登记官方链接。
- PDF 原文默认不作为公开分发对象，已在
.gitignore中排除*.pdf。 - 资料摘录和读书笔记只作为学习整理，不替代原文。
- 如果要引用具体结论，应优先回到原论文、官方文档或项目页面核对。
本仓库的整理规则写在 AGENTS.md 和 00-首页与索引 中。核心原则是：
- 总图只做导航，不直接连接大量具体概念。
- 主题页承接概念页，概念页沉淀可复用知识。
- 原始资料留在
05-资料摘录或07-待整理，不要直接混入主题图谱。 - 项目记录和实验日志保留过程语境，不强行改成概念页。
- 批量整理后同步更新主页、索引、资料索引和处理日志。
同步到 GitHub 前建议检查：
git status --short
git add .
git status --short重点确认不要提交：
- 本地工作区状态：
.obsidian/workspace.json - 插件、主题和缓存：
.obsidian/plugins/、.obsidian/themes/、.obsidian/cache/ - PDF 原文：
*.pdf - 实验输出、checkpoint、日志：
outputs/、checkpoints/、wandb/、*.log - 私钥、证书、环境变量：
.env、*.pem、*.key
当前仓库尚未指定开源许可证。未经明确许可，请不要将本仓库内容视为可自由再分发材料。