Initial stable release

Features

• Implémentation complète de l'algorithme Byte Pair Encoding from-scratch
• Training et tokenization/détokenization fonctionnels
• Support de corpus textuels custom
• Choix du dataset d'entrainement + vocab size
• Interface Streamlit interactive pour visualisation en temps réel
• Support des tokens spéciaux (GPT-2 style)
• Modes document et conversation

Quick Start

pip install regex streamlit
streamlit run src/visualizer.py

Notes

Version stable avec toutes les fonctionnalités de base. Voir README pour usage détaillé.