Tiny LLM from Scratch

노트북에서 직접 만드는 작은 언어 모델 — 데이터 · 토크나이저 · 트랜스포머 · 훈련 · 양자화 · 배포

API를 부르는 대신, 4시간 안에 10M 파라미터 SLM 한 번 직접 만들어보는 학습서. 성능이 아니라 "왜 만드는가 → 어떻게 만들어지는가" 를 손으로 체험하는 데 무게를 둔다.

• 사이트: https://desty.github.io/study-tiny-llm/ (배포 후 갱신)
• 참조 라인: nanoGPT · TinyStories · SmolLM2 · Phi-3 · MobileLLM · llama.cpp/GGUF
• 자매 프로젝트: AI Assistant Engineering

로컬 개발

pip install -r requirements.txt
mkdocs serve

라이선스

MIT (본문) · 코드 예제는 각 챕터에 표시.