Skip to content

Measurements

KTH1007 edited this page Nov 6, 2026 · 5 revisions

측정과 결과

부하 측정은 k6와 하네스(k6/measure-queue.sh)로 했고, 판정 기준은 API별 SLO다. 이 페이지는 요약이고 원본과 상세는 docs/slo.md(SLO와 측정 결과, 원인 분석), docs/capacity.md(규모와 증설), docs/slow-requests.md(느린 요청 추적), k6/README.md(스크립트 사용법)에 있다.

먼저 읽을 한계. 모든 측정은 한 대의 Mac에서 부하기와 서버가 함께 돌았고, PG는 가짜이며, 대부분 조건당 1~2회다. 같은 비교의 결과 차이가 큰 환경이라 한 번의 값은 방향을 확인하는 용도로만 쓴다. 실제 ALB, 실제 Toss의 지연, 실제 50만 명의 재시도 패턴은 재지 못했다.

측정 환경

항목 값
호스트 Apple M4 10코어, 24GB, macOS. 측정 시작 전 유휴율 약 85%
부하기 k6를 서버와 같은 Docker 네트워크의 컨테이너로 실행해 nginx에 직접 요청
nginx 저장소 설정 그대로(동시 연결 상한: 줄서기 500, 순번 조회 250, 좌석 배치 캐시 60초)
앱 Spring Boot 4, Java 25, 컨테이너 2코어, 1GiB, 힙 512MiB, G1. 1대 기준
Postgres 18, 2코어, 1GiB, 앱의 Hikari 풀 20
Redis 8, 2코어, AOF everysec, maxmemory 512MiB(noeviction)
결제(PG) 가짜 Toss, 지연 0ms
데이터와 설정 공연 1개, 좌석 30,000, 승격 초당 100, 대기열 최대 500,000

SLO (요약)

기준은 목표 규모 안에서 사용자가 겪는 것이다. 의도된 거절(대기열이 가득 찬 503 등)은 실패로 세지 않고 따로 센다.

요청 p95 p99 가용성
줄서기 POST /api/events/{id}/queues 200ms 500ms 99.9%
순번 조회 GET /api/events/{id}/queues/me 100ms 300ms 99.9%
공연 목록, 상세 200ms 500ms 99.9%
좌석 상태 GET .../seats/status 100ms 200ms 99.9%
좌석 배치 GET .../seats/layout 150ms 300ms 99.9%
좌석 홀드 POST .../seats/hold 300ms 1s 99.9%
결제 승인, 예약 취소 1s 3s 99.5%
예약 조회 200ms 500ms 99.9%

숫자로 못 세는 정합성 약속도 있다(같은 좌석을 두 명에게 팔지 않는다, 승인된 결제가 확정 없이 남지 않는다, 환불이 필요한 건은 24시간 안에 사람이 처리한다). 어기면 건수와 상관없이 장애로 본다.

결과 1. 흐름 측정 (V1, 2026-11-03)

앱 1대, 좌석 배치 nginx 캐시 있음. 새 사용자 흐름은 좌석 배치 내려받기, 줄서기, 승격될 때까지 순번 조회, 홀드, 결제, 예약 조회, 10%는 취소다.

부하 결과 앱 CPU 평균/최대 Postgres CPU 평균/최대
줄서기 2,000/s p95 1ms, p99 3ms, 실패 0. 충족
순번 조회 3,000/s(대기자 10만 명) p95 1ms, p99 2ms, 실패 0. 충족
흐름 40명/s + 읽기 300/s 10개 API 모두 충족. 홀드 p95 6ms, 결제 7ms 50% / 102% 14% / 24%
흐름 80명/s + 읽기 300/s 모두 충족. 홀드 5ms, 결제 6ms 49% / 65% 19% / 41%
흐름 120명/s + 읽기 300/s 모두 충족. 홀드 3ms, 결제 p95 8ms, p99 23ms 53% / 79% 24% / 41%
  • 120명/s는 승격 상한(초당 100)을 넘어서, 7,200명 중 131명은 60초 안에 승격되지 못하고 포기했다. 설계대로의 대기 동작이고 SLO 위반이 아니다.
  • 정합성 점검은 기록된 실행에서 이상이 없었다(좌석 수가 어긋난 확정 예약 0건, 1분 넘게 남은 PENDING 결제 0건).
  • 좌석 배치 nginx 캐시는 SLO를 지키느냐 못 지키느냐를 가르지 않았다. 없어도 모두 충족이었다. 달라진 것은 앱 CPU 여유다(80~120명/s에서 평균 131~147%, 최대는 한도 200%에 닿음 대 평균 49~53%).

결과 2. 목표 규모 전체 (V2)

대기자 50만 명 상태에서 순번 조회 3,200/s, 줄서기 2,000/s(상한 거절), 승격된 22,000명의 홀드와 결제 100명/s, 읽기 300/s를 동시에 걸었다.

  1. 대기열 채우기: 승격을 끄고 줄서기 2,000/s로 260초. 대기자 500,000명(상한)을 채웠고 상한 뒤 19,755건은 QUEUE_FULL로 거절됐다. p95 1ms, p99 3ms, 가용성 100%, Redis 약 100MiB.
  2. 동시 부하(220초): 위 부하를 동시에 건다. 대기자 50만 명 뒤에서는 새 사용자가 승격되지 못하므로 줄 앞 토큰을 미리 활성으로 만들어 승격된 사용자의 홀드가 승격 속도로 도착하는 것을 모사했다(실제 승격 스케줄러는 V1과 별도 측정에서 확인).
실행(최종 코드) 위반 순번 조회 가용성 앱 CPU 평균/최대
예열 없음 1 순번 조회 가용성, 공연 목록과 상세, 예약 조회 p99 95.57% 144% / 234%
60초 예열 1 없음 99.95% 116% / 185%
예열 없음 2 순번 조회 가용성 98.90% 129% / 217%
60초 예열 2 순번 조회 가용성 99.03% 133% / 267%
  • 모든 SLO를 충족한 것은 4번 중 1번이다. 남은 위반은 거의 순번 조회 가용성이고 원인은 nginx 동시 연결 상한이 낸 503이다(사례 2).
  • 홀드와 결제는 이 4회의 위반 목록에 없었다.
  • 보호 장치(풀 고갈 503, 거절 재사용)를 넣기 전의 코드는 예열 없는 실행에서 504가 206건, 129건 나왔고 줄서기 요청이 몰린 구간의 가용성도 위반했다. 최종 코드에서는 둘 다 사라졌다.

자원 사용 (앱 1대, V2)

자원 측정(최종 코드 4회) 해석
앱 CPU 평균 116~144%(한도 200%) 여유가 적다
앱 힙 최대 389~482MiB(한도 512MiB) 여유가 적다. 순번 조회 상한을 1000으로 올리자 힙이 차서 앱이 종료됐다
Postgres CPU 평균 21~32% 병목이 아니다
Redis CPU 평균 13~15% 병목이 아니다

앱 1대는 대기자 50만 명 상태의 목표 부하를 대체로 처리했지만 여유가 적고 단일 장애점이다. 증설이 용량을 늘리는지는 이 환경에서 확인하지 못했다(docs/capacity.md).

증설 없이 줄인 것

방법 효과
순번에 비례해 조회 간격을 늘림 대기자 50만 명의 조회가 약 33,650/s에서 약 3,158/s로(계산)
가득 찬 대기열의 거절을 nginx가 재사용 거절 요청당 앱 CPU 0.273ms에서 0.009~0.032ms
좌석 배치 nginx 캐시 앱 CPU 평균 93~147%에서 49~53%

다시 재는 방법

STAGES=V1 ./k6/measure-queue.sh   # 흐름과 읽기 API의 SLO 판정
STAGES=V2 ./k6/measure-queue.sh   # 목표 규모 전체

스크립트 사용법과 단계(R1 거절 비용, V1, V2, 캐시 점검)는 k6/README.md에 있다. 측정 도구가 틀리지 않도록 판정이 "측정 없음"을 실패로 처리하게 만들었다(사례 5).

하지 않은 측정

  • Redis 장애, 결제 연속 실패, Outbox 처리 실패 상황의 부하 측정
  • 승격 속도를 올려 가며 꺾이는 지점 찾기
  • 실제 ALB, 실제 Toss의 지연과 호출 한도, 실제 50만 명의 재시도 패턴
  • 3만 석을 끝까지 다 파는 측정