🧠 Transformer From Scratch (NumPy Implementation)

Proyek ini merupakan implementasi sederhana dari Decoder-Only Transformer menggunakan NumPy murni, tanpa bantuan framework deep learning seperti PyTorch atau TensorFlow.
Tujuannya adalah untuk memahami cara kerja internal attention mechanism, positional encoding, layer normalization, dan feed-forward network dari dasar.

---

🚀 Cara Menjalankan Program

1. Kloning atau unduh repositori ini:

   git clone https://github.com/username/transformer-from-scratch.git
   cd transformer-from-scratch

2. Pastikan Python sudah terinstal (versi ≥ 3.8).

3. Instal dependensi:

   pip install numpy

4. Jalankan notebook:

   jupyter notebook transformer_from_scratch.ipynb

5. Atau jalankan langsung melalui terminal (opsional):

   python transformer_from_scratch.py

---

🧩 Struktur Proyek

.
├── transformer_from_scratch.ipynb   # Notebook utama berisi implementasi Transformer
└── README.md

---

📦 Dependensi

• Python ≥ 3.8
• NumPy

---

🧪 Hasil Pengujian

Uji coba dilakukan menggunakan input acak berukuran (batch=2, seq_len=8, vocab_size=50):

• Dimensi logits: (2, 8, 50)
• Dimensi softmax: (2, 50)
• Jumlah probabilitas: ≈ 1.0 per batch
• Causal masking berhasil menonaktifkan token masa depan.