Skip to content

v2.8.0 — GGUF 다운로드 병렬화 + 대역폭 조절

Choose a tag to compare

@Changroro Changroro released this 27 Aug 04:38
· 5 commits to main since this release
918acb2

⚡ GGUF 다운로드 병렬화

prepare 의 llama.cpp 경로가 llama-server -hf (단일 커넥션) 대신
huggingface_hub.snapshot_download 로 받는다. 실측 5MB/s → 56MB/s.

  • split GGUF 는 프로필에 첫 shard 만 적어도 형제 shard 를 전부 받는다
  • 다운로드는 PREPARE_DOWNLOADER_IMAGE 컨테이너에서 돈다 (llama.cpp 이미지에는 huggingface_hub 가 없다). 미설정이면 명시적 실패
  • PREPARE_MAX_WORKERS / prepare --max-workers 로 대역폭 조절 — HF 가 연결당 속도를 묶어둬서 워커 수가 곧 대역폭이다 (1연결 5MB/s, 8연결 56MB/s)

🐛 수정

split shard 는 크기가 균등하지 않다 — unsloth 의 첫 조각이 10MB 인데 형제는 50GB 다.
캐시 히트를 프로필에 적힌 파일 하나로만 판정해서, 그 10MB 가 받아지자마자
남은 68GB 를 건너뛰고 "준비 완료" 로 보고하던 문제를 고쳤다.

업그레이드

llmux update

.env.commonPREPARE_DOWNLOADER_IMAGE 를 추가해야 GGUF 를 받을 수 있다
(.env.common.example 참고).