Skip to content

v2.6.0 — prepare(다운로드만) + 레시피 출처 모델 분리

Choose a tag to compare

@Changroro Changroro released this 18 Aug 00:43
· 11 commits to main since this release
22efc22

✨ 새 기능

llmux prepare <profile> — 다운로드·세팅만, 실행은 안 함

up 이 하는 일 중 compose up 직전까지만 수행합니다: 프로필 env(그리고 llama.cpp 의 command override) 렌더 → 이미지 로컬 확보(없으면 pull) → HF 캐시로 가중치 다운로드. 컨테이너를 남기지 않고 GPU 도 건드리지 않습니다 — 나중에 llmux up 이 이미 받아둔 것만 로드하면 됩니다.

llmux prepare qwen3-0-6b
llmux prepare gemma-3-4b --backend llamacpp

다운로드는 해당 백엔드 이미지의 일회성 컨테이너 안에서 실행됩니다 — vLLM 은 huggingface_hub.snapshot_download, llama.cpp 는 llama-server 자체 -hf 경로를 태우고 GGUF 가 호스트 캐시에 완성되는 즉시 컨테이너를 중지합니다. 호스트에 hf CLI 를 요구하지 않습니다.

TUI 에서는 중지 상태 프로필의 액션 메뉴 ⬇ Prepare (다운로드만), 또는 대시보드에서 p 키.

레시피 출처 모델 분리

Quick Setup 과 Edit Config 에 Recipe source 입력칸이 생겼습니다. 비워두면 종전대로 위 모델의 레시피를 받고, 채우면 그 모델의 레시피를 가져옵니다. 출처가 다를 때 config 의 model 은 사용자가 입력한 모델을 유지합니다 — 플래그만 차용하고, variant 의 FP8/AWQ 체크포인트 교체도 무시합니다. 레시피가 없는 커뮤니티 양자화 체크포인트에 베이스 모델의 레시피를 입힐 때 쓰세요.

llmux config from-recipe cpatonn/Qwen3-32B-AWQ --recipe-from Qwen/Qwen3-32B --variant awq

Edit Config 에서도 레시피 받기

📋 Fetch vLLM recipe 버튼이 Config 편집 폼에도 들어갔습니다. 새로 만들지 않고 열려 있는 폼에 병합합니다 — 같은 키 행은 값이 갱신되고(꺼져 있었으면 다시 켜짐), 없던 키는 행이 추가됩니다. 저장 전이라 확인하고 Save.

llmux config from-recipe Qwen/Qwen3-32B --name my-model --feature reasoning --merge

🧹 내부

  • llama.cpp 의 config 자동 링크/생성 로직을 upprepare 가 공유하도록 추출(동작 변경 없음).
  • 문서 갱신: README(en/ko), guide(container-lifecycle · configs · tui), reference(cli).

Full changelog: v2.5.0...v2.6.0