Repository navigation
Troubleshooting
부하 측정과 리뷰에서 실제로 겪은 문제 5개를 정리했다. 각 사례는 증상, 검토한 가설, 원인, 조치, 결과, 남은 것 순서다. 수치의 출처는 측정과 결과와 docs/slo.md, docs/capacity.md다. 모든 측정은 한 대의 Mac에서 부하기와 서버가 함께 돌았고 PG는 가짜다.
| # | 사례 | 요약 | 이슈, PR |
|---|---|---|---|
| 1 | DB 연결 풀 고갈 | 커밋 뒤 리스너 안의 Redis 호출이 DB 연결을 점유하고 있었다 | #131, #153, PR #160 |
| 2 | 순번 조회 가용성 95%대 | 실패의 정체는 앱 오류가 아니라 nginx 동시 연결 상한 503이었다 | #169 |
| 3 | 가득 찬 대기열의 거절 비용 | 거절도 앱까지 가면 CPU를 쓴다. nginx가 대신 답하게 했다 | #169, PR #171 |
| 4 | 좌석 배치 응답 2.5MB | 병목은 DB가 아니라 앱의 변환과 직렬화였다 | #127, PR #129 |
| 5 | 측정 도구가 실패를 통과로 판정한다 | 값이 없는데 "통과"로 나오는 판정 | #131, PR #154 |
이슈 #131(측정), #153(수정), PR #160. 측정일 2026-10-22.
승격 100/s의 근거를 재던 중, 실제 승격 흐름(대기열 뒤 홀드와 결제, 3,000명)에서 홀드 p95가 승격 50/s에서 9.0ms였고 100/s에서 3,018ms였다(300배 이상). 속도에 비례해 늘어난 것이 아니라 이 구간에서만 크게 늘었다.
| 승격 속도 | 기준선(10/13, #130) | 수정 전 | 수정 후(PR #160, 2회) |
|---|---|---|---|
| 50/s | 7.7ms | 9.0ms | 7.6ms, 7.8ms |
| 100/s | 17.6ms | 3,018ms | 14.8ms, 11.1ms |
| 200/s | 41.0ms | 2,593ms | 485.9ms, 189.7ms |
- 100/s에서 Hikari 대기 스레드가 705개, 결제 실패가 2,686건 중 1,817건이었다.
- 관찰된 점은 두 가지다. 앱 CPU 평균이 낮았고(46~120%) Postgres 사용률도 낮았다(CPU 9~20%). Hikari는 20개가 전부 사용 중인데 Postgres 쪽 연결은 모두 커밋 직후 idle이었다. 연결을 점유한 스레드가 DB가 아닌 다른 일을 하고 있다는 뜻이다.
먼저 측정 도구를 점검해 하네스 결함 4개를 찾았다(Toss 스텁이 chunked 본문을 못 읽음, 장애 모드 설정 누락, 예열과 본 측정의 결제 키 충돌, 홀드 TTL 기동 검증). 그다음 서버를 점검했다.
| 가설 | 확인 | 결과 |
|---|---|---|
| 읽기 부하가 앱 CPU를 포화시킨다 | 요인을 하나씩 켜고 끔 | 단독으로는 통과, 합치면 기준 미달. 평균 CPU는 포화가 아님. 한계점이 낮아질 뿐 원인은 아님 |
| 가상 스레드 캐리어가 2개라 부족하다 | 앱 4코어, 캐리어 16개로 변경 | 처음에는 증상이 사라졌으나 사용자를 늘려 120초로 재자 OOM으로 종료됨. 증상 완화에 그침 |
| 직접 관찰 | JFR 136초, 스레드 덤프 | 5초 넘게 점유된 연결이 여러 경로에서 나옴. 원인을 특정할 단서 없음 |
| 이력 | git 이력과 빌드 A/B | 아래 |
원인을 좁힌 근거는 이력이었다. #130(10/13)은 정상이었고, #122(10/14)가 결제 확정, 실패, 취소 때 Redis 좌석 마크를 맞추는 @TransactionalEventListener(AFTER_COMMIT) 리스너를 넣었다. 그 뒤로 결제 경로를 부하로 다시 재지 않았다. 빌드 A/B(저장소 밖 임시 복사본, 결제와 홀드만)로 좁혔다.
| 빌드 | 200/s | 300/s |
|---|---|---|
| 현재 코드 | 기준 미달(Hikari 타임아웃 4,394) | |
| 리스너 유지, Redis 호출만 생략 | 통과 | 기준 미달(4,942) |
| 리스너 제거 | 통과(홀드 p95 9ms) | 통과(17ms) |
병목이 둘이다.
- 리스너 안의 Redis 호출 시간만큼 DB 연결을 점유한다. 스프링은 커밋 직후에도 트랜잭션의 DB 연결을
afterCompletion까지 반납하지 않는 것으로 알려져 있다(직접 증명한 것은 아니고 A/B로 좁혔다). 동시에 점유되는 연결 수는 대략 초당 도착 수 x 점유 시간이다. 풀이 가득 차면 대기가 생기고, 대기하는 동안에도 앞선 요청이 연결을 점유하고 있어 점유 시간이 더 길어지는 되먹임이 생긴다. 그래서 일정 속도를 넘으면 지연이 비례 이상으로 커진다. - 리스너를 달면 Spring Modulith가 이벤트 발행 기록(
event_publication)을 쓰고 완료로 바꾸는 DB 비용이 붙는다. Redis 호출만 뺀 빌드도 300/s에서 기준에 못 미쳤다.
가상 스레드는 스레드가 병목인 문제만 없애고, DB 연결처럼 유한한 자원은 그대로 병목이다. 동시 요청이 쉽게 늘어 그 병목에 더 빨리 닿는다.
리스너를 없애고, 트랜잭션을 끝낸 뒤 포트(SeatMarkSyncPort)로 직접 호출하게 바꿨다(PR #160). 홀드가 이미 쓰던 방식과 같다.
-
PaymentClaimService.applySuccess,applyFailure,PaymentCancelRecorder.confirmCancel이TransactionTemplate으로 트랜잭션을 끝낸 뒤 호출한다. 롤백이면 예외가 빠져나가 Redis 호출까지 가지 않는다. - Redis 실패는 로그만 남긴다. DB가 진실의 원천이고 마크 TTL이 마지막 안전망이다.
- 100/s에서 홀드 p95가 3,018ms에서 14.8ms, 11.1ms(2회)로 돌아왔다. 결제는 3,000건 중 2,994건, 2,996건이 성공했고 Hikari 타임아웃은 0이었다.
- 풀 수준 테스트(
SeatMarkConnectionTest)로 확인했다. Redis 호출 순간의 Hikari 활성 연결이 수정 전 1, 수정 후 0이었다. Redis를 1.5초 지연시키고 풀 크기(20)만큼 동시에 확정하면 수정 전은 풀이 고갈됐고(total=20, active=20, idle=0, waiting=20) 수정 후는 다른 요청이 연결을 얻었다.
- 원인은 스레드 수준에서 증명한 것이 아니라 빌드 A/B로 좁힌 것이다.
- 200/s 이상은 호스트 상태에 크게 좌우됐다(같은 빌드의 결과가 15ms에서 2,400ms까지 달랐다).
- 주요 경로(결제)를 바꾼 뒤 부하를 다시 재지 않은 것이 확인이 늦어진 원인이다. 기능 테스트 869개와 CI는 통과했지만 연결 점유 시간은 부하 측정에서만 확인된다.
- 평균 CPU가 낮아도 유한 자원이 병목일 수 있다. 평균 대신 풀 사용률, 대기 스레드 수, 타임아웃을 본다.
이슈 #169. 측정일 2026-11-03 ~ 11-05.
README 목표 규모 전체(대기자 50만 명 상태에서 순번 조회 3,200/s, 줄서기 2,000/s, 승격 100/s의 홀드와 결제, 읽기 300/s)를 동시에 걸자(V2) 순번 조회 가용성이 목표 99.9%에 못 미쳤다.
| 실행(최종 코드) | 순번 조회 가용성 | 앱 CPU 평균/최대 | nginx 동시 연결 상한 503 |
|---|---|---|---|
| 예열 없음 1 | 95.57% | 144% / 234% | 33,896건 |
| 60초 예열 1 | 99.95%(모두 충족) | 116% / 185% | 398건 |
| 예열 없음 2 | 98.90% | 129% / 217% | 8,463건 |
| 60초 예열 2 | 99.03% | 133% / 267% | 7,389건 |
앱의 오류가 아니었다. nginx의 순번 조회 동시 연결 상한(limit_conn queue_poll 250)이 앱에 보내지 않고 돌려준 503(SERVER_BUSY)이었다.
- 예열 없음 1회차에서 33,896건 / 764,315건 = 4.43%였다.
- 동시 요청 수는 도착 속도 x 처리 시간이다. 순번 조회가 3,200/s이니 평균 처리 시간이 약 78ms만 넘어도 동시 요청이 250을 넘어 거절이 시작된다. 시작 직후나 순간적인 지연(GC, 스케줄러, 홀드와 결제 급증)에 이 상한이 걸린다.
- 상한은 앱 힙을 지키려는 장치다(앱 2코어, 힙 512MiB 기준).
- 서버가 순번에 따라 조회 간격을 알려 주는 정책은 이미 있었다(100위 안은 2초, 그 밖은 15초에서 5분). 50만 명이 15초 고정으로 조회하면 약 33,650/s인데, 순번 비례 간격이면 약 3,158/s다(계산).
- 상한을 500, 1000으로 올려 예열 없이 값마다 2번씩 걸었다. 어느 값도 99.9%에 닿지 못했고(최고 99.45%), 1000의 한 번은 힙이 차서 앱이 종료돼 상한은 250으로 유지했다.
- "같은 부하를 60초 먼저 걸어 데우면 통과한다"는 결론은 3번 중 2번에서만 성립했다(최종 코드 예열 2회차가 99.03%). n=1을 일반화한 것을 반복 측정으로 바로잡았다.
- 모든 SLO를 충족한 실행은 4번 중 1번뿐이다. 남은 위반은 거의 순번 조회 가용성이고, 원인은 동시 연결 상한과 SLO 99.9% 사이의 긴장이다. 해결하지 못했고 원인과 한계를
docs/slo.md에 기록했다. - 관측 한계: nginx 접근 로그가 100ms 이상이거나 500, 502, 504만 남겨서 상한 503은 로그에 없다. 초 단위 분포는 못 봤다. 로그에 남기지 않는 항목이 이후 분석에 필요할 수 있다.
이슈 #169, PR #171. 측정일 2026-11-04.
대기열이 상한(50만)에 닿은 뒤 줄서기 요청은 전부 503 QUEUE_FULL로 거절된다. 의도된 거절인데도 요청이 몰릴 때 앱 CPU를 많이 썼다.
단계 R1을 만들어 대기열을 작은 상한(2,000)까지 채운 뒤, 거절만 되는 줄서기를 1,000, 2,000, 4,000/s로 보내 요청당 CPU를 계산했다(부하 없는 구간의 CPU를 빼고 처리량으로 나눔).
| 변형 | 요청당 앱 CPU | 해석 |
|---|---|---|
| 기준선 | 0.273ms (2,000/s에서 앱 CPU 56%) | |
| 가설 1: 예외의 스택 트레이스 생성이 비싸다 | 0.247ms | 약 10% 감소. 실행 간 편차 안이라 기각(코드에 넣지 않음) |
| 가설 2: 요청을 앱까지 보내는 것 자체가 비용이다 | 0.009~0.032ms | nginx가 재사용하자 4,000/s에서 앱 CPU가 115%에서 4~14%로 |
앱이 QUEUE_FULL에만 Cache-Control: max-age=1을 붙이고, nginx가 줄서기 경로에 한해 그 응답을 재사용한다.
설계 판단:
- 앱이 표시하는 방식을 골랐다. nginx 단독(
proxy_cache_valid 503 1s)이면 Redis 장애나 풀 고갈 503까지 같이 저장돼 회복이 늦게 보이고 의도가 숨는다. - 표준
Cache-Control: max-age를 썼다. nginx 전용 헤더(X-Accel-Expires)에 앱이 묶이지 않는다. -
proxy_cache_lock은 켜지 않았다. 정상 등록(201)은 저장할 수 없어서, 잠금이 같은 키의 등록을 하나씩 순서대로만 처리하게 만든다. -
map으로 캐시 영역을 고르게 해서location /를 복제하지 않았다.
-
max-age=1이 정확히 1초가 아니었다. nginx가 만료를 초 단위 시계로 판정해 실제 유지는 1.37~1.46초(6회)였다. 점검 스크립트가 "1.2초 뒤에도 HIT"로 실패해서 확인했고, 문서를 "1~2초"로 정정했다. - 안전 조건을 확인했다. 자리가 있는 공연에 6번 등록하자 서로 다른 토큰 6개가 나왔고 모두
MISS였다(201은 저장되지 않음). 429도 헤더가 없어 저장되지 않는다.
- 저장된 응답의 본문
traceId는 첫 요청의 값이라 헤더X-Request-Id와 어긋난다. 재사용 응답에서만traceId를 뺐다. 응답을 캐시하면 응답에 포함된 요청별 값을 모두 확인해야 한다. - 점검 스크립트가 지표를 못 읽어도 통과했다(
awk가 0을 출력함). 못 읽으면 실패로 끝나게 했다. -
queue.register.rejected카운터는 앱에 닿은 거절만 센다. R1에서 209,954건 중 810건만 집계됐다. 한계를 문서에 적었다.
연결 풀이 고갈되면 500이 아니라 503과 Retry-After(5~10초)로 응답한다. 서버 버그가 아니라 일시적 과부하라 클라이언트가 재시도해야 하고, 500은 알림과 SLO에서 버그로 오인된다.
- V2 재측정에서 앱 CPU 평균이 예열 없음 기준 165~171%에서 129~144%로 낮아졌고, 이전 코드의 504(206건, 129건)와 500이 사라졌다.
- 거절된 직후 자리가 나도 최대 1~2초는 계속 거절될 수 있다.
Retry-After가 5~10초라 사용자에게 미치는 차이는 작을 것으로 추정하지만 측정하지 않았다.
이슈 #127, PR #129. 측정일 2026-10-11.
승격을 초당 100명으로 했을 때 DB가 감당하는지를 재다가, 좌석 목록 조회가 대기열 밖에 있고 전량 DB 조회라는 점을 확인했다. 쓰기(홀드)는 추정으로 판단할 수 있었지만 읽기는 추정에 의존하지 않고 먼저 측정했다.
- 응답 2.76MB, 요청 1건당 메모리 할당 약 93MB(응답의 34배). DB 쿼리는 2.3ms로 요청의 3~4%뿐이었다. 병목은 DB가 아니라 앱(엔티티 3만 개 로딩, 변환, 직렬화)이었다.
- 처리량이 약 21~26 req/s에서 포화했다. VU를 늘리면 지연만 늘어 p95가 0.55초(10), 3.6초(50), 5.7초(100)였다.
- 100 VU에서 요청의 16%가 실패했다. 원인은 풀 고갈(
active=16, waiting=6~7)이었다. - 부하 중 가벼운
GET /api/events/1이 중앙값 3ms에서 p95 2.3초로 늘었다. 같은 풀과 JVM을 쓰기 때문이다. GC 정지 합계는 약 51초(풀 GC 368회)였다. - 승격된 사람이 지도를 한 번만 열어도 초당 100번 이상의 요청이 생겨 측정 처리량(약 25/s)의 4배다.
정적 배치(구역, 열, 번호, 등급)와 동적 상태를 나눴다.
- 배치(
/seats/layout)는 길게 캐시한다(gzip 약 250KB, 풀면 2.48MB). - 상태(
/seats/status)는 좌석당 2비트 비트맵으로 줄여 앱 메모리의 스냅샷으로 둔다(3만 석 응답 약 10KB, 1초마다 갱신).
| 항목 | 수정 전 | 수정 후 |
|---|---|---|
| 상태 처리량 | 16~26 req/s | 2,625~12,342 req/s |
| 상태 p95 | 75~5,697ms | 0.5~15.9ms |
| 실패율 | 16% | 0% |
| 응답 크기 | 2.76MB | 10KB |
| 요청당 할당 | 93MB | 약 0.4MB |
| GC 정지 합계 | 약 51.5초(풀 GC 368회) | 약 1.7초(풀 GC 0회) |
| Hikari 타임아웃 | 96건 | 0건 |
| 부하 중 가벼운 API p95 | 2,324ms | 22ms |
처음 열기(layout, gzip)는 단건 3~5ms, 604~659 req/s, p95 26~189ms였다. 이후 nginx 배치 캐시(#169)로 앱 CPU 평균이 93~147%에서 49~53%로 줄었다.
- k6는 기본으로
Accept-Encoding: gzip을 보내지 않는다. 처음 배치 부하 결과(69~83 req/s)가 서버가 요청마다 gunzip해서 2.4MB를 보내는 예외 경로였다. 수신량(data_received)이 건수 x 풀린 크기와 정확히 같다는 점으로 확인했고, 헤더를 명시해 다시 재서 604~659 req/s를 얻었다. -
갱신 주기 버그. 설계는 스냅샷을 1초마다 다시 만드는 것이었는데,
builtAt을 0.05초 간격으로 20초 관찰했더니 간격이 1.58~2.03초(대부분 2.02초)였다. 스케줄러가fixedDelay1초로 도는데 갱신 임계값을주기 + 지터(0~20%)로 둬서, 다음 틱에서 스냅샷 나이가 약 1.00초라 임계값에 못 미쳐 건너뛰고 그다음 틱에 갱신한 것이다. 임계값을 주기의 절반으로 줄이고 지터는 트리거로 틱 간격에 넣었다. 갱신 간격이 평균 1.98초에서 0.99초가 됐다. 시계를 고정한 단위 테스트는 틱 주기와의 상호작용을 찾아내지 못했고, 틱을 주기마다 모사하는 테스트로 고정했다.
부하기가 같은 머신이고 앱 1대라 서버 최대치가 아니다. 기존 한 요청(전체)과 새 요청(배치 + 상태)은 같은 요청이 아니라 사용자 흐름(열기 1번 + 이후 갱신)으로 비교해야 한다.
이슈 #131, PR #154. 이후 #169(PR #171)와 Redis 실험(#107)에서도 같은 종류를 겪었다.
측정 도구가 틀리면 그 위의 숫자 전부를 신뢰할 수 없으므로 서버 코드와 같은 수준으로 리뷰하고 검증했다. 공통 원인은 셋이다.
-
summarize-mixed.py에서 요약 파일이 없거나 값이 없으면 NaN이 되고,NaN > 합격선은 false라 통과로 나왔다. 도구가 제대로 측정하지 못해도 판정은 통과로 나온다. 켠 시나리오의 필수 값이 NaN이면 "측정 없음"으로 실패 처리하게 했다. - #171의 점검 스크립트도 같았다. 지표를 못 읽으면 0이 되어 "앱까지 닿은 거절 0건"으로 잘못 통과했다. 못 읽거나 카운터가 없으면 실패로 끝낸다.
- Redis Sentinel 실험(#107)의 유실 지표에도 같은 문제가 있었다. 처음에는 쓰기를
INCR counter하나로 보내고 "확인받은 값 중 최종 값보다 큰 것"을 유실로 셌는데, 장애 뒤에도 계속 쓰면 최종 값이 항상 확인받은 최댓값과 같아져 유실이 있어도 0이 나오는 지표였다(9회 모두counter == max_acked). 쓰기마다 고유 키를 쓰고 끝에 새 마스터에서MGET으로 확인받은 키가 남았는지 검증하는 방식으로 바꿨다. 또 복제 확인(WAIT 1 100)이 0을 돌려준 쓰기도 성공으로 세고 있어서 복제가 확인된 쓰기만 세게 고쳤다.
- 앱 1대 측정에 앞 단계가 올린
app2컨테이너가 남아 있어 같은 DB와 Redis에 붙은 app2의 스케줄러와 CPU가 섞일 수 있었다. 단계가 끝나면 내리게 했다. - 홀드 TTL을 전역 변수로 바꾸고 마지막 줄에서만 복원해서, 중간에 실패하면 5m/1m이 다음 단계에 그대로 남았다.
local로 선언해 어떻게 반환돼도 원래 값으로 돌아오게 했다. - 예열과 본 측정이 같은 결제 키를 써서 유니크 제약(#116) 뒤로 결제 실패가 예열 인원 수만큼 나왔다. 서버 변경 때문에 도구가 동작하지 않게 된 사례였다.
-
mixed.js가 토큰이 모자라면 아무 오류 없이return해서 부하가 목표보다 낮은데 정상처럼 끝났다. 시작할 때tokens.length < RATE x DURATION이면 실패하게 했다. - 좌석이 1개인데 2개를 고르면
while이 끝나지 않았다. 좌석 수로 제한하고 시작 시 좌석 0개면 실패하게 했다.
- 저장된 기록 49개를 새 판정 코드로 다시 계산해 45개가 같았고 4개가 달랐다(4개는 수정 전 요약기로 돌려도 똑같이 달라서 이번 변경 때문이 아니었다).
- 저장된 통과 기록을 일부러 망가뜨린 가짜 사례(요약 파일 삭제, 지표 삭제, 드롭 2%)로 새 판정이 의도대로 실패로 나오는지 확인했다.
-
k6 inspect로 입력 검증을 확인했다(토큰 50개에 필요 300개면 종료 코드 107).
- 값이 없음을 정상으로 해석하는 판정이 가장 문제가 크다. "측정 없음"을 별도의 실패로 만든다.
- 앞 단계가 남기는 상태를 호출하는 쪽이 기억해서 정리하게 두지 않고 스코프에 묶는다. 단계 순서를 바꿔 돌려도 같은 결과여야 한다.
- 입력은 시작할 때 실패하게(fail fast) 한다.
- 한계: 이 수정은 실제 규모로 다시 돌려 닫지 않았다. 리뷰 도구가 "새 지적 없음"이라고 한 것은 도구가 맞다는 증명이 아니다.