Repository navigation
Measurements
부하 측정은 k6와 하네스(k6/measure-queue.sh)로 했고, 판정 기준은 API별 SLO다. 이 페이지는 요약이고 원본과 상세는 docs/slo.md(SLO와 측정 결과, 원인 분석), docs/capacity.md(규모와 증설), docs/slow-requests.md(느린 요청 추적), k6/README.md(스크립트 사용법)에 있다.
먼저 읽을 한계. 모든 측정은 한 대의 Mac에서 부하기와 서버가 함께 돌았고, PG는 가짜이며, 대부분 조건당 1~2회다. 같은 비교의 결과 차이가 큰 환경이라 한 번의 값은 방향을 확인하는 용도로만 쓴다. 실제 ALB, 실제 Toss의 지연, 실제 50만 명의 재시도 패턴은 재지 못했다.
| 항목 | 값 |
|---|---|
| 호스트 | Apple M4 10코어, 24GB, macOS. 측정 시작 전 유휴율 약 85% |
| 부하기 | k6를 서버와 같은 Docker 네트워크의 컨테이너로 실행해 nginx에 직접 요청 |
| nginx | 저장소 설정 그대로(동시 연결 상한: 줄서기 500, 순번 조회 250, 좌석 배치 캐시 60초) |
| 앱 | Spring Boot 4, Java 25, 컨테이너 2코어, 1GiB, 힙 512MiB, G1. 1대 기준 |
| Postgres | 18, 2코어, 1GiB, 앱의 Hikari 풀 20 |
| Redis | 8, 2코어, AOF everysec, maxmemory 512MiB(noeviction) |
| 결제(PG) | 가짜 Toss, 지연 0ms |
| 데이터와 설정 | 공연 1개, 좌석 30,000, 승격 초당 100, 대기열 최대 500,000 |
기준은 목표 규모 안에서 사용자가 겪는 것이다. 의도된 거절(대기열이 가득 찬 503 등)은 실패로 세지 않고 따로 센다.
| 요청 | p95 | p99 | 가용성 |
|---|---|---|---|
줄서기 POST /api/events/{id}/queues
|
200ms | 500ms | 99.9% |
순번 조회 GET /api/events/{id}/queues/me
|
100ms | 300ms | 99.9% |
| 공연 목록, 상세 | 200ms | 500ms | 99.9% |
좌석 상태 GET .../seats/status
|
100ms | 200ms | 99.9% |
좌석 배치 GET .../seats/layout
|
150ms | 300ms | 99.9% |
좌석 홀드 POST .../seats/hold
|
300ms | 1s | 99.9% |
| 결제 승인, 예약 취소 | 1s | 3s | 99.5% |
| 예약 조회 | 200ms | 500ms | 99.9% |
숫자로 못 세는 정합성 약속도 있다(같은 좌석을 두 명에게 팔지 않는다, 승인된 결제가 확정 없이 남지 않는다, 환불이 필요한 건은 24시간 안에 사람이 처리한다). 어기면 건수와 상관없이 장애로 본다.
앱 1대, 좌석 배치 nginx 캐시 있음. 새 사용자 흐름은 좌석 배치 내려받기, 줄서기, 승격될 때까지 순번 조회, 홀드, 결제, 예약 조회, 10%는 취소다.
| 부하 | 결과 | 앱 CPU 평균/최대 | Postgres CPU 평균/최대 |
|---|---|---|---|
| 줄서기 2,000/s | p95 1ms, p99 3ms, 실패 0. 충족 | ||
| 순번 조회 3,000/s(대기자 10만 명) | p95 1ms, p99 2ms, 실패 0. 충족 | ||
| 흐름 40명/s + 읽기 300/s | 10개 API 모두 충족. 홀드 p95 6ms, 결제 7ms | 50% / 102% | 14% / 24% |
| 흐름 80명/s + 읽기 300/s | 모두 충족. 홀드 5ms, 결제 6ms | 49% / 65% | 19% / 41% |
| 흐름 120명/s + 읽기 300/s | 모두 충족. 홀드 3ms, 결제 p95 8ms, p99 23ms | 53% / 79% | 24% / 41% |
- 120명/s는 승격 상한(초당 100)을 넘어서, 7,200명 중 131명은 60초 안에 승격되지 못하고 포기했다. 설계대로의 대기 동작이고 SLO 위반이 아니다.
- 정합성 점검은 기록된 실행에서 이상이 없었다(좌석 수가 어긋난 확정 예약 0건, 1분 넘게 남은 PENDING 결제 0건).
- 좌석 배치 nginx 캐시는 SLO를 지키느냐 못 지키느냐를 가르지 않았다. 없어도 모두 충족이었다. 달라진 것은 앱 CPU 여유다(80~120명/s에서 평균 131~147%, 최대는 한도 200%에 닿음 대 평균 49~53%).
대기자 50만 명 상태에서 순번 조회 3,200/s, 줄서기 2,000/s(상한 거절), 승격된 22,000명의 홀드와 결제 100명/s, 읽기 300/s를 동시에 걸었다.
- 대기열 채우기: 승격을 끄고 줄서기 2,000/s로 260초. 대기자 500,000명(상한)을 채웠고 상한 뒤 19,755건은
QUEUE_FULL로 거절됐다. p95 1ms, p99 3ms, 가용성 100%, Redis 약 100MiB. - 동시 부하(220초): 위 부하를 동시에 건다. 대기자 50만 명 뒤에서는 새 사용자가 승격되지 못하므로 줄 앞 토큰을 미리 활성으로 만들어 승격된 사용자의 홀드가 승격 속도로 도착하는 것을 모사했다(실제 승격 스케줄러는 V1과 별도 측정에서 확인).
| 실행(최종 코드) | 위반 | 순번 조회 가용성 | 앱 CPU 평균/최대 |
|---|---|---|---|
| 예열 없음 1 | 순번 조회 가용성, 공연 목록과 상세, 예약 조회 p99 | 95.57% | 144% / 234% |
| 60초 예열 1 | 없음 | 99.95% | 116% / 185% |
| 예열 없음 2 | 순번 조회 가용성 | 98.90% | 129% / 217% |
| 60초 예열 2 | 순번 조회 가용성 | 99.03% | 133% / 267% |
- 모든 SLO를 충족한 것은 4번 중 1번이다. 남은 위반은 거의 순번 조회 가용성이고 원인은 nginx 동시 연결 상한이 낸 503이다(사례 2).
- 홀드와 결제는 이 4회의 위반 목록에 없었다.
- 보호 장치(풀 고갈 503, 거절 재사용)를 넣기 전의 코드는 예열 없는 실행에서 504가 206건, 129건 나왔고 줄서기 요청이 몰린 구간의 가용성도 위반했다. 최종 코드에서는 둘 다 사라졌다.
| 자원 | 측정(최종 코드 4회) | 해석 |
|---|---|---|
| 앱 CPU | 평균 116~144%(한도 200%) | 여유가 적다 |
| 앱 힙 | 최대 389~482MiB(한도 512MiB) | 여유가 적다. 순번 조회 상한을 1000으로 올리자 힙이 차서 앱이 종료됐다 |
| Postgres CPU | 평균 21~32% | 병목이 아니다 |
| Redis CPU | 평균 13~15% | 병목이 아니다 |
앱 1대는 대기자 50만 명 상태의 목표 부하를 대체로 처리했지만 여유가 적고 단일 장애점이다. 증설이 용량을 늘리는지는 이 환경에서 확인하지 못했다(docs/capacity.md).
| 방법 | 효과 |
|---|---|
| 순번에 비례해 조회 간격을 늘림 | 대기자 50만 명의 조회가 약 33,650/s에서 약 3,158/s로(계산) |
| 가득 찬 대기열의 거절을 nginx가 재사용 | 거절 요청당 앱 CPU 0.273ms에서 0.009~0.032ms |
| 좌석 배치 nginx 캐시 | 앱 CPU 평균 93~147%에서 49~53% |
STAGES=V1 ./k6/measure-queue.sh # 흐름과 읽기 API의 SLO 판정
STAGES=V2 ./k6/measure-queue.sh # 목표 규모 전체스크립트 사용법과 단계(R1 거절 비용, V1, V2, 캐시 점검)는 k6/README.md에 있다. 측정 도구가 틀리지 않도록 판정이 "측정 없음"을 실패로 처리하게 만들었다(사례 5).
- Redis 장애, 결제 연속 실패, Outbox 처리 실패 상황의 부하 측정
- 승격 속도를 올려 가며 꺾이는 지점 찾기
- 실제 ALB, 실제 Toss의 지연과 호출 한도, 실제 50만 명의 재시도 패턴
- 3만 석을 끝까지 다 파는 측정