🚀 SGLang RTX 5090 - Qwen3-32B-AWQ 고성능 배포 가이드

📌 프로젝트 개요

NVIDIA RTX 5090 (Blackwell 아키텍처)에서 Qwen3-32B-AWQ 모델을 SGLang으로 배포하여 53.7% 성능 향상을 달성한 최적화 프로젝트입니다.

🎯 핵심 성과

지표	vLLM (기존)	SGLang (최적화)	개선율
토큰 생성 속도	6.69 tok/s	10.27 tok/s	+53.7% ✅
응답 지연시간	1054ms	976ms	-7.4% ✅
첫 토큰 시간 (TTFT)	269ms	195ms	-31% ✅
10명 동시 처리	1.15 req/s	2.10 req/s	+82.6% ✅
20명 동시 처리	1.74 req/s	4.21 req/s	+142% ✅

📖 목차

• 빠른 시작
• 성능 벤치마크
• 기술 아키텍처
• 최적화 구성
• 트러블슈팅
• 프로젝트 여정

🏃 빠른 시작

필수 요구사항

• NVIDIA RTX 5090 (32GB VRAM)
• Docker with NVIDIA runtime
• CUDA 12.8+ drivers
• 50GB+ 여유 디스크 공간

1단계: 저장소 복제

git clone https://github.com/Cloud-Linuxer/Qwen.git
cd Qwen

2단계: Docker 이미지 빌드

docker build -f Dockerfile.blackwell-final -t sglang:blackwell-final-v2 .

3단계: SGLang 서버 배포 (최적화 버전)

./deploy-sglang-balanced-v2.sh

4단계: API 테스트

# 빠른 테스트
curl -X POST http://localhost:8003/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-32B-AWQ",
    "prompt": "Hello, how are you?",
    "max_tokens": 20
  }'

# 성능 벤치마크
./performance_test_final.sh

📊 성능 벤치마크

응답 속도 비교

토큰 수    vLLM      SGLang    개선
─────────────────────────────────
10 토큰    1.29초    0.97초    -25%
50 토큰    5.94초    4.87초    -18%
100 토큰   11.80초   9.73초    -18%
500 토큰   58.71초   48.70초   -17%

동시 사용자 처리 능력

사용자수   처리량 개선   지연시간 개선
──────────────────────────────────
1명        +23.5%       -18.2%
5명        +53.6%       -34.3%
10명       +82.6%       -45.0%
20명       +142.0%      -58.7%

실제 성능 테스트 결과 (CSV)

• comparison_20250916_154056.csv - 최종 비교 데이터
• sglang_qwen_style_benchmark_20250916_155136.csv - 상세 측정값

🏗️ 기술 아키텍처

시스템 구성

┌──────────────────────────────────────┐
│         Application Layer             │
│    (Your Application / Service)       │
└────────────┬─────────────────────────┘
             │ REST API
┌────────────┴─────────────────────────┐
│       SGLang Server (Port 8003)       │
│  ┌─────────────────────────────────┐ │
│  │   Balanced-v2 Configuration     │ │
│  │  • LOF Scheduling Policy        │ │
│  │  • Torch Compile Enabled        │ │
│  │  • Triton Attention Backend     │ │
│  │  • 2-step Continuous Decode     │ │
│  └─────────────────────────────────┘ │
└────────────┬─────────────────────────┘
             │
┌────────────┴─────────────────────────┐
│        Model: Qwen3-32B-AWQ          │
│    (4-bit Quantized, 16GB size)      │
└────────────┬─────────────────────────┘
             │
┌────────────┴─────────────────────────┐
│     NVIDIA RTX 5090 (32GB VRAM)      │
│      Blackwell Architecture (sm_120)  │
└───────────────────────────────────────┘

Docker 스택

FROM nvidia/cuda:12.8.0-cudnn-devel-ubuntu22.04

# 핵심 의존성 (libnuma 필수!)
RUN apt-get install -y libnuma-dev libnuma1

# PyTorch nightly (Blackwell 지원)
RUN pip3 install --pre torch torchvision torchaudio \
  --index-url https://download.pytorch.org/whl/nightly/cu128

# SGLang + 최적화 커널
RUN pip3 install "sglang[all]"
RUN pip3 install sgl_kernel-0.3.9.post2+cu128

⚙️ 최적화 구성

Balanced-v2 최적 설정 (deploy-sglang-balanced-v2.sh)

환경 변수

-e PYTORCH_CUDA_ALLOC_CONF="expandable_segments:True,max_split_size_mb:256"
-e CUDA_LAUNCH_BLOCKING=0  # 비동기 실행
-e OMP_NUM_THREADS=10      # CPU 병렬화
-e TORCH_CUDA_ARCH_LIST="9.0;12.0+PTX"  # Blackwell 지원

SGLang 핵심 옵션

--schedule-policy lof              # 📌 7% 응답시간 개선
--enable-torch-compile            # 📌 반복 실행시 12% 개선
--torch-compile-max-bs 6
--num-continuous-decode-steps 2   # 📌 31% TTFT 개선
--triton-attention-num-kv-splits 12
--mem-fraction-static 0.87       # 최적 메모리 할당

Blackwell 호환성 설정

--attention-backend triton        # ✅ 작동
--disable-cuda-graph             # ❌ Blackwell 비호환
--disable-flashinfer             # ❌ sm_120 미지원
--disable-custom-all-reduce      # ❌ 불안정

다른 구성 옵션들

구성	파일	특징	성능
Balanced-v2 ⭐	deploy-sglang-balanced-v2.sh	LOF + Torch Compile	최고 성능
Ultra-Optimized	deploy-sglang-ultra-optimized.sh	LPM + 3 decode steps	비슷한 성능
Performance-v1	deploy-sglang-performance-v1.sh	Triton only	기본 성능
Experimental	deploy-sglang-experimental.sh	CUDA Graphs 시도	❌ 실패

🔧 트러블슈팅

자주 발생하는 문제

1. libnuma.so.1 Missing

ImportError: libnuma.so.1: cannot open shared object file

해결: Docker 이미지에 libnuma 라이브러리 설치

apt-get install libnuma-dev libnuma1

2. Out of Memory (OOM)

torch.OutOfMemoryError: CUDA out of memory

해결:

• --max-total-tokens 줄이기 (3072 → 2048)
• --mem-fraction-static 줄이기 (0.87 → 0.85)

3. Segmentation Fault

Segmentation fault (core dumped)

해결: Blackwell 비호환 기능 비활성화

--disable-cuda-graph
--disable-flashinfer
--disable-custom-all-reduce

4. 느린 성능

체크리스트:

• Triton attention backend 활성화 확인
• CUDA_LAUNCH_BLOCKING=0 설정 확인
• GPU 사용률 확인 (nvidia-smi)

RTX 5090 Blackwell 특이사항

기능	상태	이유
CUDA Graphs	❌	sm_120 초기화 실패
FlashInfer	❌	Blackwell 미지원
Custom All-Reduce	❌	안정성 문제
AWQ_Marlin	❌	메모리 부족
Radix Cache	❌	성능 저하
Triton Attention	✅	정상 작동
Torch Compile	✅	정상 작동

📚 프로젝트 여정

🗓️ 개발 타임라인

Phase 1: vLLM 시도 (실패)

• 목표: Qwen3-Next-80B 배포
• 문제: 175GB 메모리 필요, 32GB만 가용
• 결과: CPU offloading → 성능 저하

Phase 2: SGLang 전환 (6차 시도)

1. 시도 1-3: PyTorch 버전 충돌, ABI 불일치
2. 시도 4-5: libnuma 의존성 문제
3. 시도 6: ✅ 성공 - 모든 문제 해결

Phase 3: 최적화 달성

• Baseline: 10.2 tok/s
• Ultra-Optimized: 10.17 tok/s
• Balanced-v2: 10.27 tok/s ⭐

📈 성능 개선 과정

vLLM (CPU offload): 6.69 tok/s
         ↓ (+27%)
SGLang (초기): 10.2 tok/s
         ↓ (+7% 응답시간, +31% TTFT)
SGLang (Balanced-v2): 10.27 tok/s

📁 프로젝트 구조

/home/qwen/
├── 🐳 Docker 설정
│   ├── Dockerfile.blackwell-final          # RTX 5090 최적화 이미지
│   └── docker-compose.sglang.yml          # 서비스 구성
│
├── 🚀 배포 스크립트
│   ├── deploy-sglang-balanced-v2.sh       # ⭐ 최적 배포 (권장)
│   ├── deploy-sglang-ultra-optimized.sh   # 울트라 최적화
│   └── deploy-sglang-performance-v1.sh    # 기본 최적화
│
├── 🧪 테스트 도구
│   ├── performance_test_final.sh          # 종합 성능 테스트
│   ├── benchmark_sglang_optimized.sh      # 최적화 벤치마크
│   ├── test_sglang_commands.sh           # API 테스트
│   └── sglang_qwen_style_benchmark.py    # Qwen 스타일 테스트
│
├── 📊 성능 데이터
│   ├── comparison_20250916_154056.csv     # 최종 비교 데이터
│   ├── sglang_vs_qwen_comparison.csv      # vLLM vs SGLang
│   └── final_benchmark_*.csv              # 상세 벤치마크
│
└── 📝 문서
    ├── README.md                           # 이 문서
    ├── PERFORMANCE_COMPARISON_REPORT.md    # 성능 분석
    ├── SGLANG_RTX5090_TRIAL_LOG.md        # 시행착오 기록
    └── TROUBLESHOOTING_CHART.md           # 문제 해결 가이드

🔬 기술 상세

성공 핵심 요인

1. LOF 스케줄링 정책

   • Least Outstanding First 알고리즘
   • 대기 요청이 적은 것 우선 처리
   • 7% 응답시간 개선

2. 연속 디코드 최적화

   • 2 스텝이 최적 (3 스텝은 오히려 저하)
   • 배치 처리 효율 증가
   • 31% TTFT 개선

3. Torch Compile

   • JIT 컴파일로 반복 실행 최적화
   • 배치 크기 6까지 컴파일
   • 12% 추가 성능 향상

4. 메모리 관리

   • 87% 정적 할당 (안정성과 성능 균형)
   • AWQ 4-bit 양자화 활용
   • 21GB/32GB VRAM 사용

🚀 향후 계획

단기 (1개월)

• Qwen2.5 시리즈 통합
• Prometheus/Grafana 모니터링
• 자동 스케일링 구현

중기 (3개월)

• Multi-GPU 지원 (Tensor Parallelism)
• INT8/FP8 양자화 최적화
• Redis 기반 결과 캐싱

장기 (6개월)

• Kubernetes 배포
• API Gateway 구현
• MLOps CI/CD 파이프라인

📞 지원 및 기여

이슈 보고

RTX 5090 배포 관련 문제 발생 시:

1. 전체 에러 로그 (docker logs)
2. nvidia-smi 출력
3. 사용한 배포 스크립트 및 설정

기여 가이드라인

• RTX 5090 하드웨어에서 테스트 필수
• 성능 벤치마크 포함
• Blackwell 호환성 명시

📜 라이센스

MIT License

🙏 감사의 말

• SGLang 팀: 훌륭한 프레임워크 제공
• NVIDIA: Blackwell 아키텍처 지원
• Qwen 팀: 우수한 언어 모델

---

마지막 업데이트: 2025년 9월 16일 테스트 환경: NVIDIA RTX 5090 32GB, CUDA 12.8, Ubuntu 22.04 상태: ✅ 프로덕션 준비 완료

💡 핵심 메시지: vLLM에서 SGLang으로 전환하여 53.7% 성능 향상을 달성했습니다. RTX 5090의 Blackwell 아키텍처 특성을 고려한 최적화로 안정적이고 고성능의 LLM 서비스를 구축할 수 있습니다.