Python Unit

Unit

Unit представляет одну capability/model пару, service unit или composite unit. Обычно его создают через xlocllm.unit(...), xlocllm.vectorstorage(...) или xlocllm.rag(...).

Properties

Свойство	Описание
unit.id	<type>:<modelId>
unit.type	нормализованный тип unit
unit.model	resolved exact model id
unit.label	label из каталога или model id
unit.model_info	ModelInfo | None
unit.mode	native или web
unit.quant	выбранное GGUF quantization для native LLM
unit.reasoning	default reasoning control для поддерживаемых LLM
unit.options	runtime options
unit.rag	attached RAG unit для LLM
unit.supports_reasoning	поддерживает ли модель thinking/reasoning control
unit.is_custom	custom ONNX/sklearn/torch source

Methods

Метод	Зачем нужен	Ключевые параметры
to_payload()	bridge payload	-
to_dict()	полное dict-представление	-
status()	состояние attached runtime или offline selected state	-
remove()	убрать unit из runtime без удаления cache	-
delete_cache(bridge=None)	удалить model cache	bridge optional
delete(ids=None, filter=None, delete_cache=True, bridge=None, **params)	для model unit - удалить/убрать; для RAG/vector - удалить записи	ids, filter, delete_cache
set_reasoning(enabled)	горячо включить/выключить reasoning	True, False, None
as_runtime(port=1146)	создать single-unit runtime	port
install(port=1146)	shortcut runtime install	port
run(port=1146)	shortcut runtime run	port
stop()	остановить single-unit runtime	-
hibernate()	выгрузить active models	-
heatup()	запустить/warmup active models	-
invoke(endpoint, payload, timeout=None)	вызвать endpoint через single-unit runtime	endpoint, payload, timeout
add(documents, ids=None, metadatas=None, embeddings=None, **params)	добавить документы в RAG или векторные записи	documents, ids, metadatas, embeddings
search(query=None, embedding=None, top_k=None, filter=None, **params)	поиск в RAG/vectorstorage	query, embedding, top_k, filter
clear(**params)	очистить namespace RAG/vector	params
stats()	статистика RAG/vector	-
reindex(**params)	переэмбеддить RAG chunks	params
predict(inputs, **params)	custom ONNX/regression inference	inputs, params

Когда unit attached

Методы add/search/delete/clear/stats/reindex/predict требуют, чтобы unit был привязан к запущенному Runtime. Привязка происходит автоматически при создании runtime([unit]).