Models Use your model

Use your model

xlocllm поддерживает три практических способа использовать свои модели.

1. Local ONNX file

reg = xlocllm.unit(
    "model.onnx",
    type="regression",
    name="local-regression",
    input_name="float_input",
)

with xlocllm.runtime([reg]) as rt:
    rt.run()
    print(reg.predict([[1.0, 2.0, 3.0]]))

2. sklearn estimator

Fitted sklearn estimator экспортируется в ONNX. Для classifier labels можно взять из classes_ или передать явно.

clf = xlocllm.unit(
    sklearn_model,
    type="text-classification",
    name="local-classifier",
    labels=["negative", "positive"],
)

3. torch.nn.Module

Torch model экспортируется в ONNX. Нужен example_input или input_shape.

unit = xlocllm.unit(
    torch_model,
    type="regression",
    name="torch-regression",
    input_shape=[None, 16],
)

Что поддерживается

Источник	Native	Web
Catalog GGUF LLM	да, через llama.cpp-compatible backend	нет, используйте web catalog/MLC
Catalog ONNX/Transformers model	да, через ONNX Runtime где есть artifact	да, через Transformers.js/WASM/WebGPU
Local .onnx	да	да, bridge регистрирует artifact для ONNX Runtime Web/WASM
sklearn estimator	да, export через skl2onnx	да, после export artifact
torch.nn.Module	да, export через torch.onnx.export	да, после export artifact