Modeles

Modèles et Boutique

La Boutique

La Boutique est le point d'entrée pour découvrir et installer des modèles GGUF.

Sélection de modèles mise en avant

Une liste « éditoriale » est épinglée en tête de la Boutique (des modèles connus pour fonctionner en local / CPU) :

Modèle	Tailles proposées	Famille
Qwen2.5	0.5 B, 1.5 B, 3 B (Instruct, GGUF)	Generic
SmolLM2	360 M, 1.7 B (Instruct, GGUF)	HuggingFaceTB
Phi-3 mini	3.8 B (4k instruct, gguf)	Microsoft
…	fichiers q4_k_m par défaut	—

Sur une machine Intel (comme beaucoup de Macs), les modèles 0,5–3 milliards de paramètres restent réactifs.

Recherche sur Hugging Face

• À partir de 3 caractères, la recherche interroge https://huggingface.co/api/models.
• Un débounce de 450 ms évite d'envoyer une requête à chaque frappe.
• Les résultats sont limités à 12 modèles pour rester réactif et ne pas épuiser le quota de l'API.
• Filtre appliqué : filter=gguf (quantifications prévues) + exclusion des modèles gated.

Détails d'un modèle

Chaque modèle affiche :

• la description,
• la licence,
• les tailles et quantifications disponibles (q4_k_m, q8_0…),
• le contexte supporté,
• le nombre de téléchargements,
• le statut gated éventuel.

Les détails sont résolus à la demande (seuls les éléments visibles coûtent une requête).

Choix du fichier par défaut

Quand un modèle ne précise pas quel fichier installer, l'app choisit dans cet ordre : q4_k_m → q4_0 → q4 → q5_k_m → q3_k_m → q8_0 → sinon le plus petit fichier disponible.

Le téléchargement

Étape	Détail
Demande	Clic sur Installer dans la carte ou la fiche détail.
Fichier	Fichier .gguf « par défaut » ou celui précisé dans la fiche.
Téléchargement	Depuis https://huggingface.co/<id>/resolve/main/<fichier> via le CDN (jamais l'API).
Progression	Barre 0 → 100 % affichée dans l'interface.
Enregistrement	Écriture dans ~/Library/Application Support/KarenOS/Models/.
Registre	Fiche LocalModel ajoutée à models.json.
Quotas	URLSession + pipeline delegate : les androidx de réseau, la progression et les erreurs (429 quota, hors-ligne) sont capturées.

Le registre des modèles installés

~/Library/Application Support/KarenOS/models.json décrit les modèles sur le disque :

Champ	Rôle
id	Identifiant Hugging Face (Auteur/Modèle).
fileName	Nom du fichier .gguf téléchargé.
fileSize	Taille du fichier sur le disque.
quant	Quantification détectée (q4_k_m, q8_0…).
installedAt	Date d'installation.

Garanties du registre

• Déduplication : à la lecture, les doublons du même id sont fusionnés (ancien bug corrigé : Qwen pouvait être enregistré 3 fois).
• Inscription unique : « Installer » n'installe pas deux fois un modèle déjà présent.
• Interface spéciale « SmolLM2-360M » : après installation, accès direct à sa fiche avec boutique intégrée.

Exemples de commandes équivalentes (pour comprendre)

Ce que fait réellement l'app, transposable en ligne de commande :

# Recherche
curl "https://huggingface.co/api/models?search=smollm&filter=gguf"

# Détails et fichiers
curl "https://huggingface.co/api/models/HuggingFaceTB/SmolLM2-360M-Instruct-GGUF/blobs?recursive=1"

# Téléchargement d'un fichier
curl -L -o SmolLM2-360M-Instruct-Q4_K_M.gguf \
  "https://huggingface.co/HuggingFaceTB/SmolLM2-360M-Instruct-GGUF/resolve/main/SmolLM2-360M-Instruct-Q4_K_M.gguf"

# Lancement du moteur manuellement (équivalent interne)
llama-server -m SmolLM2-360M-Instruct-Q4_K_M.gguf --host 127.0.0.1 --port 11000 -c 2048

Voir aussi : Persistance, Dépannage.