Skip to content

docs: Консолидация документов JEPA-T, NCA и типов моделей в docs/research/models/ #536

@gHashTag

Description

@gHashTag

🎯 Цель

Создать единую точку навигации для всех документов по моделям Trinity: T-JEPA, NCA (Neural Cellular Automata), VSA, Ternary и Hybrid — которые сейчас разбросаны по разным директориям и веткам.


📋 Контекст и мотивация

Аудит репозитория (апрель 2026) выявил 40+ файлов с упоминаниями JEPA/NCA/VSA, разбросанных по:

  • docs/lab/papers/ — экспериментальные отчёты
  • docs/docs/api/, docs/docs/tutorials/ — справочники
  • crates/trios-train-cpu/src/ — реализации
  • specs/ — VIBEE-спецификации
  • origin/gh-pages — research-отчёты
  • .trinity/ — конфиги с весами моделей

При этом в docs/DOCUMENTATION_INDEX.md раздел JEPA & T-JEPA содержит пометку ⚠️ Needs update — статус реализован, но документация не синхронизирована.


🗺️ Обнаруженные документы по категориям

1. JEPA-T (Ternary Joint Embedding Predictive Architecture)

Файл Ветка Статус
docs/lab/papers/2026-03-15-hslm-tjepa.md main ✅ Эксперимент J-000: MSE 1.95→0.30, throughput ~50K tok/s
docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md main, feat/physics-migration-phase-a ✅ Параметры масок, EMA, entropy
crates/trios-train-cpu/src/tjepa.rs main, feat/physics-migration-phase-a ✅ Rust-реализация
crates/trios-train-cpu/src/objective.rs main ✅ Multi-objective (NTP+JEPA+NCA)
docs/lab/papers/sevo-method.md main ✅ SEVO + JEPA objective
docs/whitepaper.md main ✅ Таблица архитектурных параметров
.trinity/wave9.json main HSLM_JEPA_WEIGHT=0.25
CHANGELOG.md main ✅ T-JEPA v1.0.2

Ключевые параметры T-JEPA (верифицированы из 2026-03-15-hslm-tjepa.md):

mask_ratio=0.3, min_span=3, max_span=9, num_spans=2
EMA: decay_start=0.996, decay_end=1.0
Loss: L2-normalized MSE (no collapse)
Objective: --objective ntp|jepa|hybrid
New files: ema.zig, mask.zig, mse_loss.zig, tjepa.zig, tjepa_trainer.zig

Следующие эксперименты (из Next Steps в paper):

  • J-001: T-JEPA 50K steps
  • H-001: Hybrid 100K (JEPA 50K → NTP 50K)
  • ctx=81: тест 3^4 context (Square Attention Theorem)

2. NCA (Neural Cellular Automata)

Файл Ветка Статус
docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md main, feat/physics-migration-phase-a ✅ Grid 9×9=81, K=9
.trinity/wave9.json main HSLM_NCA_WEIGHT=0.25
src/tri/evolution.zig main, feat/physics-migration-phase-a ✅ NCA objectives
src/tri/tri_farm.zig main, feat/physics-migration-phase-a ✅ Farm + NCA
src/brain/evolution_simulation.zig main ✅ Сценарии S1-S10

Ключевые параметры NCA:

Grid: 9×9 = 81 = CONTEXT_LEN
Состояний на клетку: K=9
Rollout шагов: 128
Entropy band: min=1.5, max=2.8
Wave 8.5: G1-G8 sweep энтропии

3. VSA (Vector Symbolic Architecture)

Файл Ветка
docs/docs/api/vsa.md main
docs/docs/tutorials/vsa-operations.md main
docs/docs/cheatsheets/vsa-operations.md main
crates/trios-vsa/README.md main
.trinity/ralph/examples/vsa_usage.zig main

4. Ternary

Файл Ветка
docs/docs/concepts/balanced-ternary.md main
docs/docs/adr/002-ternary-representation.md main
docs/docs/research/trinity-level11-hybrid-bipolar-ternary-report.md main

5. Hybrid

Файл Ветка
docs/docs/api/hybrid.md main
crates/trios-hybrid/README.md main
deploy/trinity-nexus/docs/research/trinity-hybrid-v2.0-report.md origin/gh-pages
deploy/trinity-nexus/docs/research/trinity-hybrid-v2.1-report.md origin/gh-pages

6. VIBEE-спецификации

Файл Ветка
specs/tri/model_repository.vibee main
specs/tri/model_training.vibee main
specs/phi/native_ternary_e2e.vibee main
specs/phi/ternary_quant_pipeline.vibee main
deploy/trinity-nexus/phi/e2e_all_models.vibee origin/gh-pages

🏗️ Целевая структура

docs/research/models/
├── README.md                    # Индекс всех моделей + навигация
├── JEPA-T/
│   ├── architecture.md          # TrinityBlock + EMA + маски
│   ├── experiments.md           # J-000 результаты (из 2026-03-15 paper)
│   ├── parameters.md            # Конфиги масок, EMA, весов
│   └── next-experiments.md      # J-001, H-001, ctx=81 планы
├── NCA/
│   ├── architecture.md          # Grid 9×9, K=9, rollout
│   ├── entropy-bands.md         # Wave 8.5 G1-G8 sweep
│   └── integration.md           # Multi-objective: NTP+JEPA+NCA
├── VSA/
│   └── README.md                # Навигация → существующие docs
├── Ternary/
│   └── README.md                # Навигация → balanced-ternary, ADR
└── Hybrid/
    └── README.md                # Навигация + ссылки на gh-pages отчёты

✅ Задачи

Phase 1 — Структура и JEPA-T (приоритет: высокий)

  • Создать docs/research/models/README.md — мастер-индекс
  • Создать docs/research/models/JEPA-T/architecture.md — описание TrinityBlock, EMA sync, маски
  • Создать docs/research/models/JEPA-T/experiments.md — консолидация из 2026-03-15-hslm-tjepa.md (J-000 данные)
  • Создать docs/research/models/JEPA-T/parameters.md — все конфиги масок + EMA + wave9.json веса
  • Создать docs/research/models/JEPA-T/next-experiments.md — J-001, H-001, ctx=81 планы

Phase 2 — NCA (приоритет: высокий)

  • Создать docs/research/models/NCA/architecture.md — Grid, K, rollout параметры
  • Создать docs/research/models/NCA/entropy-bands.md — Wave 8.5 G1-G8
  • Создать docs/research/models/NCA/integration.md — интеграция с JEPA и NTP objectives

Phase 3 — VSA, Ternary, Hybrid (приоритет: средний)

  • Создать docs/research/models/VSA/README.md — навигация к существующим docs
  • Создать docs/research/models/Ternary/README.md — навигация к balanced-ternary + ADR
  • Создать docs/research/models/Hybrid/README.md — навигация + ссылки на gh-pages v2.0/v2.1

Phase 4 — Обновить индексы (приоритет: средний)

  • Обновить docs/DOCUMENTATION_INDEX.md раздел Training & Models → добавить ссылку на docs/research/models/
  • Убрать пометку ⚠️ Needs update у JEPA в индексе — реализация подтверждена
  • Добавить раздел Model Architecture Hub в индекс

🚫 Ограничения

  • НЕ копировать содержимое из docs/docs/api/, docs/docs/tutorials/ — только ссылки
  • НЕ удалять исходные файлы в docs/lab/papers/ — только перелинковать
  • НЕ менять структуру crates/ — только документировать
  • Hybrid v2.0/v2.1 reports из origin/gh-pages — ссылки, не копии

🔍 Верификация

После выполнения проверить:

# Все ссылки в новых файлах валидны
npx markdown-link-check docs/research/models/**/*.md

# Индекс обновлён
grep -n 'research/models' docs/DOCUMENTATION_INDEX.md

# Структура корректна
tree docs/research/models/

📊 Метрики

Метрика Значение
Новых файлов ~12
Обновляемых файлов 1 (DOCUMENTATION_INDEX.md)
Исходных документов для консолидации 30+
Веток с уникальными данными 3 (main, feat/physics-migration-phase-a, gh-pages)
Оценочное время ~2-3 часа

🔗 Связанные ресурсы

  • Исходный paper: docs/lab/papers/2026-03-15-hslm-tjepa.md
  • Текущий индекс: docs/DOCUMENTATION_INDEX.md
  • Эксперименты: docs/experiments/FOUND_EXPERIMENTS_SUMMARY.md
  • Реализация (Rust): crates/trios-train-cpu/src/tjepa.rs
  • Реализация (Zig): src/hslm/tjepa.zig, src/hslm/tjepa_trainer.zig
  • Конфиг весов: .trinity/wave9.json (HSLM_JEPA_WEIGHT=0.25, HSLM_NCA_WEIGHT=0.25)

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions