[AGENT TASK] OpenAI Parameter Golf — Build a Competitive 16MB LM Submission

[gHashTag]

🎯 Mission: OpenAI Model Craft — Parameter Golf Challenge

Дедлайн: 30 апреля 2026
Призы: до $1M в GPU-кредитах через RunPod + потенциальный найм в OpenAI Research

---

Контекст

OpenAI запустил открытый челлендж Parameter Golf:

• Модель + код должны помещаться в 16 МБ (float32 веса)
• Обучение ≤ 10 минут на кластере 8× H100
• Метрика: качество сжатия на датасете FineWeb (cross-entropy loss / bits-per-byte)
• Публичный лидерборд — побеждает тот, кто лучше предсказывает текст при жёстких ограничениях

---

Задача агента

1. Анализ базовых решений

• Склонировать / изучить репозиторий openai/parameter-golf
• Запустить baseline-модели и зафиксировать их BPB-метрики
• Понять скрипт оценки и точный формат сабмишна

2. Архитектурные эксперименты (приоритетный список)

Исследовать следующие направления в рамках 16 МБ:

Подход	Идея	Ожидаемый выигрыш
Квантование	INT4/INT8 + кастомные схемы	4-8× сжатие весов → больше параметров
Нестандартная архитектура	State Space Model (Mamba/RWKV-like), не трансформер	Меньше накладных расходов на attention
Golden-ratio weight init	φ-based initialization из t27-исследований	Потенциально быстрее сходимость
Tied embeddings	Input/output embedding sharing	Экономия ~30% весов на vocab
Knowledge distillation	Дистилляция из большой модели за 10 минут	Лучше BPB при малом размере
Byte-level tokenization	Без токенайзера, прямо на байтах	Экономия 4+ МБ на embedding

3. Реализация на Rust/TypeScript

• Основная логика модели — Rust (соответствует правилам репозитория trios)
• Скрипты оценки и визуализация — TypeScript
• Никаких .sh скриптов — только Rust CLI / TS для автоматизации
• GitHub Issue обязателен для каждого PR

4. Обучающий цикл

• Оптимизированный загрузчик FineWeb-датасета
• Gradient checkpointing для экономии памяти
• Mixed precision (bf16) training
• Уложиться в 10 минут на 8× H100 (≈ 600 GPU-секунд бюджет)

5. Сабмишн

• Упаковать модель + инференс-код в ≤ 16 МБ
• Проверить через официальный eval-скрипт OpenAI
• Сабмиттить в лидерборд через openai/parameter-golf
• Запросить GPU-кредиты RunPod под эксперименты

---

Технические ограничения (из правил репозитория trios)

• ✅ Rust (primary backend)
• ✅ TypeScript (UI/tooling)
• ✅ Custom .t27 language (business logic)
• ❌ No .sh scripts
• ❌ No Python unless absolutely unavoidable
• ⚠️ Каждый PR должен иметь linked issue

---

Ресурсы

• Репозиторий конкурса
• Правила и FAQ
• RunPod GPU гранты — запросить 1000+ кредитов
• FineWeb датасет
• Habr: разбор Parameter Golf

---

Acceptance Criteria

• Модель обучается за ≤ 10 минут на 8× H100
• Размер пакета (веса + код) ≤ 16 МБ
• BPB лучше baseline из репозитория OpenAI
• Код на Rust + TypeScript, без shell-скриптов
• Успешный сабмит в публичный лидерборд

---

Priority: 🔴 CRITICAL (дедлайн 30 апреля)
Assigned: Agent Team
Labels: research, competition, high-priority