Python Modes

Modes

xlocllm имеет native-first API и browser-backed режимы.

native

Default. Python поднимает локальный supervisor и запускает native engines:

• LLM: GGUF через llama.cpp-compatible loading.
• Embeddings/rerankers/vision/audio/text tasks: ONNX Runtime pipelines, когда доступны.
• Dashboard: non-browser monitor/control surface; модели не выполняются внутри dashboard.

with xlocllm.native:
    llm = xlocllm.unit("LLM", "Qwen-3.5-0.8b")

webgpu

Scoped helper для browser-backed режима с options.device="webgpu" по умолчанию. Модель выполняется в paired browser runtime, bridge остается локальным control/API layer.

with xlocllm.webgpu:
    llm = xlocllm.unit("LLM", "SmolLM2-360M-Instruct-q4f16_1-MLC")

web

Scoped helper для browser-backed CPU/WASM fallback (options.device="wasm"). Подходит для легких Transformers.js моделей без WebGPU.

with xlocllm.web:
    clf = xlocllm.unit(
        "text-classification",
        "Xenova/distilbert-base-uncased-finetuned-sst-2-english",
    )

Decorator syntax

@xlocllm.webgpu
def run_browser_gpu():
    return xlocllm.unit("LLM", "SmolLM2-360M-Instruct-q4f16_1-MLC")