Skip to content

Python Unit Constructor

Mike edited this page May 28, 2026 · 1 revision

Unit()

В публичном API почти всегда используется фабрика xlocllm.unit(...), а не прямой dataclass constructor.

xlocllm.unit(...)

Параметр Тип Описание
*args (type, model) или (source,) позиционный синтаксис: unit type + model, ModelInfo, ONNX path, sklearn/torch object
type str | None тип unit: LLM, embedding, reranker, regression, ...
model Any model id, alias, label или custom model name
quant str | None native GGUF quantization: q2, q3, q4, q5, q6, q8, fp16, fp32
reasoning bool | None default thinking/reasoning control
options dict | None runtime-specific options
rag Unit | UnitRequest | None RAG unit для LLM
mode str | None native, web; default берется из xlocllm.mode/scope
name str | None имя custom unit
labels Sequence[str] | None labels для custom classifier
input_name str | None ONNX input name
output_names Sequence[str] | None ONNX output names
example_input Any пример входа для torch export
input_shape Sequence[int | None] | None форма входа для sklearn/torch export

Возвращает

Unit с resolved type, model, model_info, mode, quant, reasoning, options и optional rag.

Ошибки

  • ModelNotFound - model name/alias не найден в выбранном режиме.
  • UnitNotFound - неизвестный тип unit.
  • ValueError - reasoning задан для модели без reasoning support.
  • TypeError - конфликт позиционных и keyword аргументов или custom source без type=....

Clone this wiki locally