Models Native LLM tiny small

Models Native LLM tiny small

Режим: Native. Категория: LLM / чат и генерация текста.

Всего моделей: 21.

Qwen2.5 0.5B Instruct

Поле	Значение
Название	Qwen/Qwen2.5-0.5B-Instruct-GGUF
Label	Qwen2.5 0.5B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	0.5B
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Qwen/Qwen2.5-0.5B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Qwen3 0.6B GGUF

Поле	Значение
Название	Qwen3-0.6B-GGUF
Label	Qwen3 0.6B GGUF
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	0.6B
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Qwen/Qwen3-0.6B-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF reasoning model for llama.cpp.
Best in	reasoning, agents, chat, local-assistant

SmolLM2 135M Instruct

Поле	Значение
Название	unsloth/SmolLM2-135M-Instruct-GGUF
Label	SmolLM2 135M Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	unsloth/SmolLM2-135M-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

SmolLM2 360M Instruct GGUF

Поле	Значение
Название	SmolLM2-360M-Instruct-GGUF
Label	SmolLM2 360M Instruct GGUF
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	0.36B
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	bartowski/SmolLM2-360M-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

multilingual e5 large instruct

Поле	Значение
Название	Ralriki/multilingual-e5-large-instruct-GGUF
Label	multilingual e5 large instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Ralriki/multilingual-e5-large-instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Phi 3 mini 4k instruct

Поле	Значение
Название	microsoft/Phi-3-mini-4k-instruct-gguf
Label	Phi 3 mini 4k instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.44 GB catalog size, ~455 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 455 MB; memory/VRAM около 1119 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1631 MB+ свободной VRAM/RAM и 967 MB+ disk cache
HF link	microsoft/Phi-3-mini-4k-instruct-gguf
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Phi 3.5 mini instruct

Поле	Значение
Название	MaziyarPanahi/Phi-3.5-mini-instruct-GGUF
Label	Phi 3.5 mini instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.44 GB catalog size, ~455 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 455 MB; memory/VRAM около 1119 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1631 MB+ свободной VRAM/RAM и 967 MB+ disk cache
HF link	MaziyarPanahi/Phi-3.5-mini-instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Phi 4 mini instruct

Поле	Значение
Название	MaziyarPanahi/Phi-4-mini-instruct-GGUF
Label	Phi 4 mini instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.45 GB catalog size, ~457 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 457 MB; memory/VRAM около 1122 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1634 MB+ свободной VRAM/RAM и 969 MB+ disk cache
HF link	MaziyarPanahi/Phi-4-mini-instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Phi 4 mini instruct

Поле	Значение
Название	unsloth/Phi-4-mini-instruct-GGUF
Label	Phi 4 mini instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.45 GB catalog size, ~457 MB disk/cache
Параметры	не указаны
Минимальные требования	tiny - очень слабое железо, CPU/WASM или небольшой GPU; disk >= 457 MB; memory/VRAM около 1122 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1634 MB+ свободной VRAM/RAM и 969 MB+ disk cache
HF link	unsloth/Phi-4-mini-instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

HyperCLOVAX SEED Text Instruct 1.5B Q4 K M

Поле	Значение
Название	rippertnt/HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M-GGUF
Label	HyperCLOVAX SEED Text Instruct 1.5B Q4 K M
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.5B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	rippertnt/HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

LFM2.5 1.2B Instruct

Поле	Значение
Название	LiquidAI/LFM2.5-1.2B-Instruct-GGUF
Label	LFM2.5 1.2B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.2B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	LiquidAI/LFM2.5-1.2B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Llama 3.2 1B Instruct

Поле	Значение
Название	MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF
Label	Llama 3.2 1B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Llama 3.2 1B Instruct GGUF

Поле	Значение
Название	Llama-3.2-1B-Instruct-GGUF
Label	Llama 3.2 1B Instruct GGUF
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	bartowski/Llama-3.2-1B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Llama 3.2 1B Instruct Q4 K M

Поле	Значение
Название	hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF
Label	Llama 3.2 1B Instruct Q4 K M
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	hugging-quants/Llama-3.2-1B-Instruct-Q4_K_M-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Llama 3.2 1B Instruct Q8 0

Поле	Значение
Название	hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF
Label	Llama 3.2 1B Instruct Q8 0
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Qwen2 1.5B Instruct

Поле	Значение
Название	Qwen/Qwen2-1.5B-Instruct-GGUF
Label	Qwen2 1.5B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.5B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Qwen/Qwen2-1.5B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Qwen2.5 1.5B Instruct

Поле	Значение
Название	Qwen/Qwen2.5-1.5B-Instruct-GGUF
Label	Qwen2.5 1.5B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.5B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Qwen/Qwen2.5-1.5B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Qwen2.5 1.5B Instruct

Поле	Значение
Название	MaziyarPanahi/Qwen2.5-1.5B-Instruct-GGUF
Label	Qwen2.5 1.5B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.5B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	MaziyarPanahi/Qwen2.5-1.5B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Qwen2.5 Coder 1.5B Instruct

Поле	Значение
Название	Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF
Label	Qwen2.5 Coder 1.5B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.5B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF code model for llama.cpp.
Best in	code, agents, chat, local-assistant

SmolLM2 1.7B Instruct

Поле	Значение
Название	bartowski/SmolLM2-1.7B-Instruct-GGUF
Label	SmolLM2 1.7B Instruct
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	0.21 GB catalog size, ~220 MB disk/cache
Параметры	1.7B
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 220 MB; memory/VRAM около 696 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 1208 MB+ свободной VRAM/RAM и 732 MB+ disk cache
HF link	bartowski/SmolLM2-1.7B-Instruct-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant

Mistral Nemo Instruct 2407

Поле	Значение
Название	MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF
Label	Mistral Nemo Instruct 2407
Категория	LLM / чат и генерация текста
Runtime/backend	native / llama.cpp / gguf
Вес	1.43 GB catalog size, ~1460 MB disk/cache
Параметры	не указаны
Минимальные требования	small - ноутбук или небольшой GPU; disk >= 1460 MB; memory/VRAM около 2928 MB; CPU возможен; GPU ускоряет
Оптимальные требования	cuda, metal, vulkan, cpu; желательно 3952 MB+ свободной VRAM/RAM и 1972 MB+ disk cache
HF link	MaziyarPanahi/Mistral-Nemo-Instruct-2407-GGUF
Доступные quantizations	fp16, fp32, q2, q3, q4, q5, q6, q8
Краткое описание	Native GGUF chat model for llama.cpp.
Best in	chat, local-assistant