Home.ru

4× RTX PRO 6000 — Wiki

English | Русский | 中文

У вас четыре NVIDIA RTX PRO 6000 Blackwell Workstation Edition (по 96 GB GDDR7), без NVLink — и один вопрос: как на этой машине реально обслуживать большую open-weight MoE модель? Эта wiki — ответ: всё, что нужно, чтобы запустить vLLM с патчами балансировки экспертов (hotsplit) из этого репозитория, шаг за шагом.

Зачем это нужно

Одна модель на 384 эксперта не помещает свои эксперты в память GPU и оставляет место под KV cache — даже на четырёх картах по 96 GB. Приём этих рецептов: держать горячие эксперты (на которые ваш трафик маршрутизирует чаще всего) в памяти GPU, а холодные читать по требованию из закреплённой памяти хоста по PCIe. Это и есть балансировка экспертов, и планировщик считает её по вашим собственным гистограммам маршрутизации — не на глаз.

Результат: большие MoE-модели (класса 100B+ параметров) работают на рабочей станции, которая стоит долю цены корпоративного сервера, с приличной скоростью декодирования.

Что вы получаете

• Четыре готовых рецепта — MiMo-V2.6-Pro, DeepSeek-V4.1-Flash, GLM-5.3, GLM-5.3-Flash — каждый со скриптами запуска, preflight-проверками, калькулятором баланса экспертов и инструментами проверки.
• Один общий планировщик (hotsplit_plan.py) — жадный подбор горячего набора по доле маршрутизации на байт, покрыт юнит-тестами, байт-в-байт одинаков во всех четырёх рецептах.
• Честные цифры — каждая цифра идёт вместе с методом, которым она измерена. Это железо: слоты PCIe 4.0 (карты Gen 5, платформа — нет), DDR4, память GDDR7. Числа здесь это учитывают.
• Безопасность — API-ключ обязателен для любого не-loopback адреса, манифест патчей проверяется до запуска, в дереве нет учётных данных.

С чего начать

1. Быстрый старт — от чистой машины до работающего endpoint.
2. Как работает балансировка экспертов — идея, математика, ручки.
3. Модели и геометрия — какая модель помещается в какой hot-бюджет.
4. FAQ — блокер GLM-5.3-Flash, UVA, NUMA, CUDA graphs и многое другое.

Для кого это

Владельцев рабочих станций 4× RTX PRO 6000, которые хотят запускать реальные модели, а не бенчмарки. Если у вас есть это железо и вы хоть раз думали «наверняка есть способ задействовать все 384 GB» — вот он.