Skip to content

v1.1.7 — Подробные подсказки для всех параметров сервера

Choose a tag to compare

@satspace-cpu satspace-cpu released this 12 Jun 08:23

⚠️ Известная проблема: Вкладка MTP / Много-токенное предсказание — параметр --spec-type draft-mtp не применяется при запуске сервера. При выборе любого типа спекуляции флаг не передаётся в командную строку. Исправление готовится в версии 1.1.8.


🆕 Новое:

  • Иконки ? рядом с каждым параметром на странице настроек сервера
  • При наведении мыши появляется подробное описание в формате мини-гайда:
    • Что делает параметр
    • Какие значения доступны и что они означают
    • Когда включать/отключать
    • Рекомендуемые значения для продуктивной работы

📋 Покрыты все вкладки:

  • GPU: Слои на GPU, Потоки, Flash Attention, Mmap, Mlock, MMQ, KV Offload, Multi-GPU
  • Контекст: Размер контекста, Batch Size, Ubatch Size, Max Tokens
  • Сэмплинг: Температура, Top P/K/Min/P, Repeat Penalty, Seed, Mirostat
  • KV Cache: Тип кэша K/V, Cache RAM, Cache Reuse
  • Спекулятивное декодирование: Spec Type, Draft параметры
  • Rope/YARN: Масштабирование и все параметры YARN
  • Сервер: Host, Port, Timeout, Slots, NUMA, Cache Prompt, Cont Batching, Context Shift, Verbose Logging, WebUI, Metrics, Reasoning, Embedding Mode

⚠️ Важно: Для параметров Verbose Logging и Embedding Mode добавлены красные предупреждения ❌ — эти параметры могут сломать ответы сервера.