Python Model Syntax

Model Syntax

One model

info = xlocllm.model("Qwen-3.5-0.8b", unit="LLM", mode="native")
print(info.model_id)
print(info.to_dict())

Catalog filters

Фильтр	Описание
unit	тип unit
mode	native или web
runtime	native, mlc, transformers
task	backend task
task_group	категория task
hardware_tier	tiny/small/medium/large
language	язык из languages
provider	provider из каталога
availability	verified, candidate, unsupported, ...
npu	фильтр npuEligible
webgpu=False	только CPU/WASM fallback candidates
cpu=True	alias для CPU/WASM fallback
available_without_webgpu=True	явный fallback filter
installed	фильтр installed artifacts, если есть bridge/cache status
hardware	provider/hardware snapshot для native filtering
include_unavailable	включить unsupported/unavailable entries
quant	выбор GGUF quantization metadata
subtype	подтип: reasoning, cross-encoder, caption-vqa, ...
modality	text, image, audio, ...
use_case	rag, chat, ocr, search-ranking, ...
license	точный license
min_context	минимальная длина контекста
search	поиск по id/label/provider/unit/tags/aliases
max_vram_mb	ограничение VRAM
max_disk_mb	ограничение disk/cache
max_size_gb	ограничение size GB
max_parameters_b	ограничение параметров B
limit_per_unit	лимит записей на unit type

Filter examples

small_llms = xlocllm.models(unit="LLM", max_vram_mb=1500)
native_llms = xlocllm.models(unit="LLM", mode="native")
cpu_web = xlocllm.models(mode="web", webgpu=False)
rag_embeddings = xlocllm.models(unit="embedding", mode="native", use_case="rag")
vlms = xlocllm.models(unit="vlm", mode="native", modality="image")
long_context = xlocllm.models(unit="LLM", min_context=32768)