Skip to content

Troubleshooting

KTH1007 edited this page Nov 6, 2026 · 7 revisions

트러블슈팅

부하 측정과 리뷰에서 실제로 겪은 문제 5개를 정리했다. 각 사례는 증상, 검토한 가설, 원인, 조치, 결과, 남은 것 순서다. 수치의 출처는 측정과 결과와 docs/slo.md, docs/capacity.md다. 모든 측정은 한 대의 Mac에서 부하기와 서버가 함께 돌았고 PG는 가짜다.

# 사례 요약 이슈, PR
1 DB 연결 풀 고갈 커밋 뒤 리스너 안의 Redis 호출이 DB 연결을 점유하고 있었다 #131, #153, PR #160
2 순번 조회 가용성 95%대 실패의 정체는 앱 오류가 아니라 nginx 동시 연결 상한 503이었다 #169
3 가득 찬 대기열의 거절 비용 거절도 앱까지 가면 CPU를 쓴다. nginx가 대신 답하게 했다 #169, PR #171
4 좌석 배치 응답 2.5MB 병목은 DB가 아니라 앱의 변환과 직렬화였다 #127, PR #129
5 측정 도구가 실패를 통과로 판정한다 값이 없는데 "통과"로 나오는 판정 #131, PR #154

사례 1. DB 연결 풀 고갈

이슈 #131(측정), #153(수정), PR #160. 측정일 2026-10-22.

증상

승격 100/s의 근거를 재던 중, 실제 승격 흐름(대기열 뒤 홀드와 결제, 3,000명)에서 홀드 p95가 승격 50/s에서 9.0ms였고 100/s에서 3,018ms였다(300배 이상). 속도에 비례해 늘어난 것이 아니라 이 구간에서만 크게 늘었다.

승격 속도 기준선(10/13, #130) 수정 전 수정 후(PR #160, 2회)
50/s 7.7ms 9.0ms 7.6ms, 7.8ms
100/s 17.6ms 3,018ms 14.8ms, 11.1ms
200/s 41.0ms 2,593ms 485.9ms, 189.7ms
  • 100/s에서 Hikari 대기 스레드가 705개, 결제 실패가 2,686건 중 1,817건이었다.
  • 관찰된 점은 두 가지다. 앱 CPU 평균이 낮았고(46~120%) Postgres 사용률도 낮았다(CPU 9~20%). Hikari는 20개가 전부 사용 중인데 Postgres 쪽 연결은 모두 커밋 직후 idle이었다. 연결을 점유한 스레드가 DB가 아닌 다른 일을 하고 있다는 뜻이다.

검토한 가설

먼저 측정 도구를 점검해 하네스 결함 4개를 찾았다(Toss 스텁이 chunked 본문을 못 읽음, 장애 모드 설정 누락, 예열과 본 측정의 결제 키 충돌, 홀드 TTL 기동 검증). 그다음 서버를 점검했다.

가설 확인 결과
읽기 부하가 앱 CPU를 포화시킨다 요인을 하나씩 켜고 끔 단독으로는 통과, 합치면 기준 미달. 평균 CPU는 포화가 아님. 한계점이 낮아질 뿐 원인은 아님
가상 스레드 캐리어가 2개라 부족하다 앱 4코어, 캐리어 16개로 변경 처음에는 증상이 사라졌으나 사용자를 늘려 120초로 재자 OOM으로 종료됨. 증상 완화에 그침
직접 관찰 JFR 136초, 스레드 덤프 5초 넘게 점유된 연결이 여러 경로에서 나옴. 원인을 특정할 단서 없음
이력 git 이력과 빌드 A/B 아래

원인을 좁힌 근거는 이력이었다. #130(10/13)은 정상이었고, #122(10/14)가 결제 확정, 실패, 취소 때 Redis 좌석 마크를 맞추는 @TransactionalEventListener(AFTER_COMMIT) 리스너를 넣었다. 그 뒤로 결제 경로를 부하로 다시 재지 않았다. 빌드 A/B(저장소 밖 임시 복사본, 결제와 홀드만)로 좁혔다.

빌드 200/s 300/s
현재 코드 기준 미달(Hikari 타임아웃 4,394)
리스너 유지, Redis 호출만 생략 통과 기준 미달(4,942)
리스너 제거 통과(홀드 p95 9ms) 통과(17ms)

원인

병목이 둘이다.

  1. 리스너 안의 Redis 호출 시간만큼 DB 연결을 점유한다. 스프링은 커밋 직후에도 트랜잭션의 DB 연결을 afterCompletion까지 반납하지 않는 것으로 알려져 있다(직접 증명한 것은 아니고 A/B로 좁혔다). 동시에 점유되는 연결 수는 대략 초당 도착 수 x 점유 시간이다. 풀이 가득 차면 대기가 생기고, 대기하는 동안에도 앞선 요청이 연결을 점유하고 있어 점유 시간이 더 길어지는 되먹임이 생긴다. 그래서 일정 속도를 넘으면 지연이 비례 이상으로 커진다.
  2. 리스너를 달면 Spring Modulith가 이벤트 발행 기록(event_publication)을 쓰고 완료로 바꾸는 DB 비용이 붙는다. Redis 호출만 뺀 빌드도 300/s에서 기준에 못 미쳤다.

가상 스레드는 스레드가 병목인 문제만 없애고, DB 연결처럼 유한한 자원은 그대로 병목이다. 동시 요청이 쉽게 늘어 그 병목에 더 빨리 닿는다.

조치

리스너를 없애고, 트랜잭션을 끝낸 뒤 포트(SeatMarkSyncPort)로 직접 호출하게 바꿨다(PR #160). 홀드가 이미 쓰던 방식과 같다.

  • PaymentClaimService.applySuccess, applyFailure, PaymentCancelRecorder.confirmCancel이 TransactionTemplate으로 트랜잭션을 끝낸 뒤 호출한다. 롤백이면 예외가 빠져나가 Redis 호출까지 가지 않는다.
  • Redis 실패는 로그만 남긴다. DB가 진실의 원천이고 마크 TTL이 마지막 안전망이다.

결과

  • 100/s에서 홀드 p95가 3,018ms에서 14.8ms, 11.1ms(2회)로 돌아왔다. 결제는 3,000건 중 2,994건, 2,996건이 성공했고 Hikari 타임아웃은 0이었다.
  • 풀 수준 테스트(SeatMarkConnectionTest)로 확인했다. Redis 호출 순간의 Hikari 활성 연결이 수정 전 1, 수정 후 0이었다. Redis를 1.5초 지연시키고 풀 크기(20)만큼 동시에 확정하면 수정 전은 풀이 고갈됐고(total=20, active=20, idle=0, waiting=20) 수정 후는 다른 요청이 연결을 얻었다.

남은 것과 점검 기준

  • 원인은 스레드 수준에서 증명한 것이 아니라 빌드 A/B로 좁힌 것이다.
  • 200/s 이상은 호스트 상태에 크게 좌우됐다(같은 빌드의 결과가 15ms에서 2,400ms까지 달랐다).
  • 주요 경로(결제)를 바꾼 뒤 부하를 다시 재지 않은 것이 확인이 늦어진 원인이다. 기능 테스트 869개와 CI는 통과했지만 연결 점유 시간은 부하 측정에서만 확인된다.
  • 평균 CPU가 낮아도 유한 자원이 병목일 수 있다. 평균 대신 풀 사용률, 대기 스레드 수, 타임아웃을 본다.

사례 2. 순번 조회 가용성 95%대

이슈 #169. 측정일 2026-11-03 ~ 11-05.

증상

README 목표 규모 전체(대기자 50만 명 상태에서 순번 조회 3,200/s, 줄서기 2,000/s, 승격 100/s의 홀드와 결제, 읽기 300/s)를 동시에 걸자(V2) 순번 조회 가용성이 목표 99.9%에 못 미쳤다.

실행(최종 코드) 순번 조회 가용성 앱 CPU 평균/최대 nginx 동시 연결 상한 503
예열 없음 1 95.57% 144% / 234% 33,896건
60초 예열 1 99.95%(모두 충족) 116% / 185% 398건
예열 없음 2 98.90% 129% / 217% 8,463건
60초 예열 2 99.03% 133% / 267% 7,389건

실패의 정체

앱의 오류가 아니었다. nginx의 순번 조회 동시 연결 상한(limit_conn queue_poll 250)이 앱에 보내지 않고 돌려준 503(SERVER_BUSY)이었다.

  • 예열 없음 1회차에서 33,896건 / 764,315건 = 4.43%였다.
  • 동시 요청 수는 도착 속도 x 처리 시간이다. 순번 조회가 3,200/s이니 평균 처리 시간이 약 78ms만 넘어도 동시 요청이 250을 넘어 거절이 시작된다. 시작 직후나 순간적인 지연(GC, 스케줄러, 홀드와 결제 급증)에 이 상한이 걸린다.
  • 상한은 앱 힙을 지키려는 장치다(앱 2코어, 힙 512MiB 기준).

시도한 것

  • 서버가 순번에 따라 조회 간격을 알려 주는 정책은 이미 있었다(100위 안은 2초, 그 밖은 15초에서 5분). 50만 명이 15초 고정으로 조회하면 약 33,650/s인데, 순번 비례 간격이면 약 3,158/s다(계산).
  • 상한을 500, 1000으로 올려 예열 없이 값마다 2번씩 걸었다. 어느 값도 99.9%에 닿지 못했고(최고 99.45%), 1000의 한 번은 힙이 차서 앱이 종료돼 상한은 250으로 유지했다.
  • "같은 부하를 60초 먼저 걸어 데우면 통과한다"는 결론은 3번 중 2번에서만 성립했다(최종 코드 예열 2회차가 99.03%). n=1을 일반화한 것을 반복 측정으로 바로잡았다.

결론과 남은 것

  • 모든 SLO를 충족한 실행은 4번 중 1번뿐이다. 남은 위반은 거의 순번 조회 가용성이고, 원인은 동시 연결 상한과 SLO 99.9% 사이의 긴장이다. 해결하지 못했고 원인과 한계를 docs/slo.md에 기록했다.
  • 관측 한계: nginx 접근 로그가 100ms 이상이거나 500, 502, 504만 남겨서 상한 503은 로그에 없다. 초 단위 분포는 못 봤다. 로그에 남기지 않는 항목이 이후 분석에 필요할 수 있다.

사례 3. 가득 찬 대기열의 거절 비용

이슈 #169, PR #171. 측정일 2026-11-04.

증상

대기열이 상한(50만)에 닿은 뒤 줄서기 요청은 전부 503 QUEUE_FULL로 거절된다. 의도된 거절인데도 요청이 몰릴 때 앱 CPU를 많이 썼다.

가설을 세우고 재기

단계 R1을 만들어 대기열을 작은 상한(2,000)까지 채운 뒤, 거절만 되는 줄서기를 1,000, 2,000, 4,000/s로 보내 요청당 CPU를 계산했다(부하 없는 구간의 CPU를 빼고 처리량으로 나눔).

변형 요청당 앱 CPU 해석
기준선 0.273ms (2,000/s에서 앱 CPU 56%)
가설 1: 예외의 스택 트레이스 생성이 비싸다 0.247ms 약 10% 감소. 실행 간 편차 안이라 기각(코드에 넣지 않음)
가설 2: 요청을 앱까지 보내는 것 자체가 비용이다 0.009~0.032ms nginx가 재사용하자 4,000/s에서 앱 CPU가 115%에서 4~14%로

조치

앱이 QUEUE_FULL에만 Cache-Control: max-age=1을 붙이고, nginx가 줄서기 경로에 한해 그 응답을 재사용한다.

설계 판단:

  • 앱이 표시하는 방식을 골랐다. nginx 단독(proxy_cache_valid 503 1s)이면 Redis 장애나 풀 고갈 503까지 같이 저장돼 회복이 늦게 보이고 의도가 숨는다.
  • 표준 Cache-Control: max-age를 썼다. nginx 전용 헤더(X-Accel-Expires)에 앱이 묶이지 않는다.
  • proxy_cache_lock은 켜지 않았다. 정상 등록(201)은 저장할 수 없어서, 잠금이 같은 키의 등록을 하나씩 순서대로만 처리하게 만든다.
  • map으로 캐시 영역을 고르게 해서 location /를 복제하지 않았다.

실측으로 바로잡은 것

  • max-age=1이 정확히 1초가 아니었다. nginx가 만료를 초 단위 시계로 판정해 실제 유지는 1.37~1.46초(6회)였다. 점검 스크립트가 "1.2초 뒤에도 HIT"로 실패해서 확인했고, 문서를 "1~2초"로 정정했다.
  • 안전 조건을 확인했다. 자리가 있는 공연에 6번 등록하자 서로 다른 토큰 6개가 나왔고 모두 MISS였다(201은 저장되지 않음). 429도 헤더가 없어 저장되지 않는다.

리뷰에서 나온 것 (CodeRabbit, 모두 유효)

  • 저장된 응답의 본문 traceId는 첫 요청의 값이라 헤더 X-Request-Id와 어긋난다. 재사용 응답에서만 traceId를 뺐다. 응답을 캐시하면 응답에 포함된 요청별 값을 모두 확인해야 한다.
  • 점검 스크립트가 지표를 못 읽어도 통과했다(awk가 0을 출력함). 못 읽으면 실패로 끝나게 했다.
  • queue.register.rejected 카운터는 앱에 닿은 거절만 센다. R1에서 209,954건 중 810건만 집계됐다. 한계를 문서에 적었다.

함께 바꾼 것

연결 풀이 고갈되면 500이 아니라 503과 Retry-After(5~10초)로 응답한다. 서버 버그가 아니라 일시적 과부하라 클라이언트가 재시도해야 하고, 500은 알림과 SLO에서 버그로 오인된다.

결과와 한계

  • V2 재측정에서 앱 CPU 평균이 예열 없음 기준 165~171%에서 129~144%로 낮아졌고, 이전 코드의 504(206건, 129건)와 500이 사라졌다.
  • 거절된 직후 자리가 나도 최대 1~2초는 계속 거절될 수 있다. Retry-After가 5~10초라 사용자에게 미치는 차이는 작을 것으로 추정하지만 측정하지 않았다.

사례 4. 좌석 배치 응답 2.5MB

이슈 #127, PR #129. 측정일 2026-10-11.

배경

승격을 초당 100명으로 했을 때 DB가 감당하는지를 재다가, 좌석 목록 조회가 대기열 밖에 있고 전량 DB 조회라는 점을 확인했다. 쓰기(홀드)는 추정으로 판단할 수 있었지만 읽기는 추정에 의존하지 않고 먼저 측정했다.

측정 (수정 전, 시드 30,000석)

  • 응답 2.76MB, 요청 1건당 메모리 할당 약 93MB(응답의 34배). DB 쿼리는 2.3ms로 요청의 3~4%뿐이었다. 병목은 DB가 아니라 앱(엔티티 3만 개 로딩, 변환, 직렬화)이었다.
  • 처리량이 약 21~26 req/s에서 포화했다. VU를 늘리면 지연만 늘어 p95가 0.55초(10), 3.6초(50), 5.7초(100)였다.
  • 100 VU에서 요청의 16%가 실패했다. 원인은 풀 고갈(active=16, waiting=6~7)이었다.
  • 부하 중 가벼운 GET /api/events/1이 중앙값 3ms에서 p95 2.3초로 늘었다. 같은 풀과 JVM을 쓰기 때문이다. GC 정지 합계는 약 51초(풀 GC 368회)였다.
  • 승격된 사람이 지도를 한 번만 열어도 초당 100번 이상의 요청이 생겨 측정 처리량(약 25/s)의 4배다.

설계

정적 배치(구역, 열, 번호, 등급)와 동적 상태를 나눴다.

  • 배치(/seats/layout)는 길게 캐시한다(gzip 약 250KB, 풀면 2.48MB).
  • 상태(/seats/status)는 좌석당 2비트 비트맵으로 줄여 앱 메모리의 스냅샷으로 둔다(3만 석 응답 약 10KB, 1초마다 갱신).

결과 (PR #129, 같은 환경과 방식)

항목 수정 전 수정 후
상태 처리량 16~26 req/s 2,625~12,342 req/s
상태 p95 75~5,697ms 0.5~15.9ms
실패율 16% 0%
응답 크기 2.76MB 10KB
요청당 할당 93MB 약 0.4MB
GC 정지 합계 약 51.5초(풀 GC 368회) 약 1.7초(풀 GC 0회)
Hikari 타임아웃 96건 0건
부하 중 가벼운 API p95 2,324ms 22ms

처음 열기(layout, gzip)는 단건 3~5ms, 604~659 req/s, p95 26~189ms였다. 이후 nginx 배치 캐시(#169)로 앱 CPU 평균이 93~147%에서 49~53%로 줄었다.

측정 방법에서 확인한 것

  • k6는 기본으로 Accept-Encoding: gzip을 보내지 않는다. 처음 배치 부하 결과(69~83 req/s)가 서버가 요청마다 gunzip해서 2.4MB를 보내는 예외 경로였다. 수신량(data_received)이 건수 x 풀린 크기와 정확히 같다는 점으로 확인했고, 헤더를 명시해 다시 재서 604~659 req/s를 얻었다.
  • 갱신 주기 버그. 설계는 스냅샷을 1초마다 다시 만드는 것이었는데, builtAt을 0.05초 간격으로 20초 관찰했더니 간격이 1.58~2.03초(대부분 2.02초)였다. 스케줄러가 fixedDelay 1초로 도는데 갱신 임계값을 주기 + 지터(0~20%)로 둬서, 다음 틱에서 스냅샷 나이가 약 1.00초라 임계값에 못 미쳐 건너뛰고 그다음 틱에 갱신한 것이다. 임계값을 주기의 절반으로 줄이고 지터는 트리거로 틱 간격에 넣었다. 갱신 간격이 평균 1.98초에서 0.99초가 됐다. 시계를 고정한 단위 테스트는 틱 주기와의 상호작용을 찾아내지 못했고, 틱을 주기마다 모사하는 테스트로 고정했다.

한계

부하기가 같은 머신이고 앱 1대라 서버 최대치가 아니다. 기존 한 요청(전체)과 새 요청(배치 + 상태)은 같은 요청이 아니라 사용자 흐름(열기 1번 + 이후 갱신)으로 비교해야 한다.

사례 5. 측정 도구가 실패를 통과로 판정한다

이슈 #131, PR #154. 이후 #169(PR #171)와 Redis 실험(#107)에서도 같은 종류를 겪었다.

측정 도구가 틀리면 그 위의 숫자 전부를 신뢰할 수 없으므로 서버 코드와 같은 수준으로 리뷰하고 검증했다. 공통 원인은 셋이다.

1. 측정값이 없는데 "통과"로 나오는 판정

  • summarize-mixed.py에서 요약 파일이 없거나 값이 없으면 NaN이 되고, NaN > 합격선은 false라 통과로 나왔다. 도구가 제대로 측정하지 못해도 판정은 통과로 나온다. 켠 시나리오의 필수 값이 NaN이면 "측정 없음"으로 실패 처리하게 했다.
  • #171의 점검 스크립트도 같았다. 지표를 못 읽으면 0이 되어 "앱까지 닿은 거절 0건"으로 잘못 통과했다. 못 읽거나 카운터가 없으면 실패로 끝낸다.
  • Redis Sentinel 실험(#107)의 유실 지표에도 같은 문제가 있었다. 처음에는 쓰기를 INCR counter 하나로 보내고 "확인받은 값 중 최종 값보다 큰 것"을 유실로 셌는데, 장애 뒤에도 계속 쓰면 최종 값이 항상 확인받은 최댓값과 같아져 유실이 있어도 0이 나오는 지표였다(9회 모두 counter == max_acked). 쓰기마다 고유 키를 쓰고 끝에 새 마스터에서 MGET으로 확인받은 키가 남았는지 검증하는 방식으로 바꿨다. 또 복제 확인(WAIT 1 100)이 0을 돌려준 쓰기도 성공으로 세고 있어서 복제가 확인된 쓰기만 세게 고쳤다.

2. 앞 단계가 남긴 상태가 다음 측정에 섞인다

  • 앱 1대 측정에 앞 단계가 올린 app2 컨테이너가 남아 있어 같은 DB와 Redis에 붙은 app2의 스케줄러와 CPU가 섞일 수 있었다. 단계가 끝나면 내리게 했다.
  • 홀드 TTL을 전역 변수로 바꾸고 마지막 줄에서만 복원해서, 중간에 실패하면 5m/1m이 다음 단계에 그대로 남았다. local로 선언해 어떻게 반환돼도 원래 값으로 돌아오게 했다.
  • 예열과 본 측정이 같은 결제 키를 써서 유니크 제약(#116) 뒤로 결제 실패가 예열 인원 수만큼 나왔다. 서버 변경 때문에 도구가 동작하지 않게 된 사례였다.

3. 모자란 입력을 시작할 때 막지 않는다

  • mixed.js가 토큰이 모자라면 아무 오류 없이 return해서 부하가 목표보다 낮은데 정상처럼 끝났다. 시작할 때 tokens.length < RATE x DURATION이면 실패하게 했다.
  • 좌석이 1개인데 2개를 고르면 while이 끝나지 않았다. 좌석 수로 제한하고 시작 시 좌석 0개면 실패하게 했다.

검증

  • 저장된 기록 49개를 새 판정 코드로 다시 계산해 45개가 같았고 4개가 달랐다(4개는 수정 전 요약기로 돌려도 똑같이 달라서 이번 변경 때문이 아니었다).
  • 저장된 통과 기록을 일부러 망가뜨린 가짜 사례(요약 파일 삭제, 지표 삭제, 드롭 2%)로 새 판정이 의도대로 실패로 나오는지 확인했다.
  • k6 inspect로 입력 검증을 확인했다(토큰 50개에 필요 300개면 종료 코드 107).

점검 기준과 한계

  • 값이 없음을 정상으로 해석하는 판정이 가장 문제가 크다. "측정 없음"을 별도의 실패로 만든다.
  • 앞 단계가 남기는 상태를 호출하는 쪽이 기억해서 정리하게 두지 않고 스코프에 묶는다. 단계 순서를 바꿔 돌려도 같은 결과여야 한다.
  • 입력은 시작할 때 실패하게(fail fast) 한다.
  • 한계: 이 수정은 실제 규모로 다시 돌려 닫지 않았다. 리뷰 도구가 "새 지적 없음"이라고 한 것은 도구가 맞다는 증명이 아니다.