v2.5.0 — btop 스타일 시스템 모니터
실행 중인 모델과 GPU를 한 화면에서 보는 btop 스타일 모니터가 이번 릴리스의 본체입니다. v2.4.1 이후 쌓인 UI 정리와 한국어 README도 함께 나갑니다.
📊 btop 스타일 시스템 모니터 (#75 · #79 · #81)
TUI에서 v, 또는 TUI 없이 llmux top.
GPU는 항상 보입니다. 컨테이너가 하나도 안 떠 있어도 util·VRAM·온도·전력·PCIe rx/tx가 heat bar로 그려집니다. 패널 제목에 카드 이름이 들어가고, GPU가 여러 장이면 전부 나옵니다. 모니터를 여는 이유가 대개 "GPU 지금 어떤가"인데, 이전 버전은 실행 중인 컨테이너가 없으면 아예 열리지도 않았습니다.
실행 중인 모델마다 패널이 붙습니다. 목록을 매 틱 다시 훑기 때문에 다른 터미널에서 띄운 모델도 알아서 나타납니다. 하나면 상세 뷰, 여러 개면 모델별 요약입니다.
상세 뷰에 담기는 것:
- 처리량·KV 캐시 braille 그래프 (현재값과 피크)
- 캐시 적중률 — KV · prefix · external
- 지연 — TTFT·E2E percentile(p50/p95/p99)을 Prometheus 히스토그램 버킷에서 직접 계산. TPOT·queue와 prefill/decode/inference 구간까지
- 요청 — running · waiting · 완료/s · preemption
키: p 일시정지 · r 피크 초기화 · +/- 폴링 주기 · l 언어 · q 종료.
엔진이 안 내주는 지표는 지어내지 않고 —로 둡니다. llama.cpp는 지연 히스토그램과 prefix 캐시를 노출하지 않아 해당 칸이 비고, TPOT만 자체 tok/s 게이지에서 파생합니다.
지표 파싱 수정
vLLM이 릴리스마다 이름을 바꾼 두 지표를 양쪽 다 인식하도록 고쳤습니다.
- KV 사용률 —
kv_cache_usage_perc↔gpu_cache_usage_perc - 토큰당 지연 —
inter_token_latency_seconds↔time_per_output_token_seconds
이전 코드는 옛 이름만 봐서 최신 vLLM에서 KV가 계속 —로 나왔습니다. 두 이름이 동시에 존재해도 먼저 잡힌 것만 합산해 중복 집계를 막습니다.
💄 대시보드 UI 정리 (#76 · #77 · #78)
Status컬럼을 맨 앞으로. 실행 중인지가 가장 먼저 볼 정보인데 뒤에 있었습니다.- vLLM 색을 자홍 → 파랑으로. llama.cpp가 초록이라 자홍이 경고처럼 보였습니다.
- 프로필 이름 변경 경로를 편집 폼으로 일원화 — 별도
R메뉴 제거. - 버전 선택 화면에서 Enter로 바로 시작 — 이전에는 라디오만 선택되고 Start를 또 눌러야 했습니다.
- 모니터 종료 키를
q로 통일 (로그 화면과 동일).
📝 문서 · 데모
- 한국어 README (
README.ko.md) 추가, 언어 전환 링크 연결 (#74) - README 데모 최상단에 모니터 스크린샷 배치, 대시보드 컷은 현재 UI로 재촬영 (#83)
- 재현용 VHS tape 3종 동봉 — 같은 컷을 다시 뽑을 수 있습니다
- Features에 빠져 있던 실기능 보강: 버전 핀·멀티 GPU·LoRA·GGUF 자동 다운로드·플래그 자동완성 (#72 · #73)
- 모니터 관련 "실행 중 전용" 문구를 실제 동작에 맞게 전면 정정 (#82)
업그레이드
cd ~/.llmux && git pull설치되어 있지 않다면:
curl -fsSL https://raw.githubusercontent.com/Bae-ChangHyun/llmux/main/install.sh | shFull Changelog: v2.4.1...v2.5.0