Warsztaty w ramach Funduszu Zdolni (30 kwietnia - 2 maja 2026).
- MicroGPT by Andrej Karpathy
- Nanochat
- nanoGPT - na nim oparte są Notebooki 4 i 5
- Let's build GPT: from scratch, in code, spelled out (YouTube)
- Attention Is All You Need (Vaswani i in., 2017)
- Hugging Face LLM Course
- GuppyLM
- Thinking in tensors, writing in PyTorch
- Neural Networks: Zero to Hero
- Pan Tadeusz - Wolne Lektury (TXT) - pobierz i zapisz w
data/pan-tadeusz.txt
- A Mathematical Theory of Communication
- Markov Chains - Setosa Blog
- A tutorial on hidden Markov models and selected applications in speech recognition
Wszystkie obecne wiodące AI to sztuczne sieci neuronowe opierające się na architekturze transformerów. W trakcie warsztatów i Ty możesz wytrenować miniaturową wersję Generative Pre-trained Transformer (GPT).
Będzie trochę teorii (o tym, że propagacja wsteczna to zwykłe różniczkowanie przez części, oraz co robi "entropia" i "temperatura"), ale głównie skupimy się na pisaniu i śledzeniu kodu w Pythonie (wcześniejsza znajomość nie jest wymagana).
Zobaczymy, co uda się nam zrobić w 3 dni - może wygenerować nazwy miejscowości, zaklęć i potworów? A może i dojść do poziomu GPT-2, najlepszej sieci z 2019 roku?
Dzień 1
- Co się dzieje, jak piszemy w czasie rzeczywistym?
- Next token prediction (przewidywanie kolejnego tokenu)
- Tokenizator
- Ile historii model potrzebuje?
- A może łańcuchy Markova?
Dzień 2
- Encoding (kodowanie)
- Sieć neuronowa (regresja logistyczna)
- Sieć dwuetapowa (jeśli zdążymy)
- Jak uczymy model?
- Co to jest transformer?
- Przygotowanie danych
Dzień 3
- Trenujemy model
- Laptop (narzędzie
uv+ Python) - Jupyter Notebook
- Opcjonalnie: Google Colab lub Lightning.ai
- It's all text (wszystko sprowadza się do tekstu)
- Pretraining vs conversational models
- Na ile się uczysz?
- Wystawienie wytrenowanego modelu jako strony internetowej