Python Subjects

Subjects

В Python SDK есть четыре основные сущности.

Model

ModelInfo - read-only metadata из каталога. Модель сама по себе ничего не запускает. Она отвечает на вопросы: какой modelId, какой unit, какой backend, сколько disk/VRAM, какие aliases, license, languages, use cases и quantizations.

Unit

Unit - выбранная capability/model пара. Примеры:

• xlocllm.unit("LLM", "Qwen-3.5-0.8b")
• xlocllm.unit("embedding", "multilingual-e5-small")
• xlocllm.rag(emb=..., rerank=...)
• xlocllm.unit("model.onnx", type="regression", name="reg")

Unit хранит resolved model id, runtime mode, options, quantization и attached RAG unit, но обычно запускается через Runtime.

Runtime

Runtime - набор units и controller lifecycle. Он выбирает bridge, порт, режим, ставит artifacts, запускает модели, дает runtime.url, runtime.chat(), runtime.embed(), runtime.invoke().

Bridge

Bridge / NativeBridge - локальный HTTP control plane на 127.0.0.1. Он держит /v1 OpenAI-compatible API, /xlocllm/v1/* control endpoints, runtime status, logs, model activation, cache deletion и invoke endpoints.

В обычном коде вы чаще работаете через Runtime: runtime сам создает нужный bridge. Прямой bridge нужен, когда требуется manual control, registry lookup, health/status checks или интеграция с уже поднятым local endpoint.

Типичный поток:

{code_block(''' model = xlocllm.model("Qwen-3.5-0.8b", unit="LLM") unit = xlocllm.unit(model) runtime = xlocllm.runtime([unit]) runtime.run() print(runtime.bridge.status()) ''')}