Skip to content

Operations

KTH1007 edited this page Nov 6, 2026 · 8 revisions

운영

실행 방법, 스케줄러, 알림, 장애 대응 절차를 모았다. 절차의 원본은 저장소의 docs/runbook/이고 이 페이지는 지도 역할을 한다.

실행

cp .env.example .env            # PHONE_HMAC_KEY, PHONE_ENCRYPTION_KEY, GRAFANA_ADMIN_PASSWORD 등
docker compose up -d            # PostgreSQL, Redis, Flyway 마이그레이션
./gradlew bootRun               # local 프로필이 기본값, 가짜 PG
docker compose --profile observability up -d   # Prometheus, Grafana까지
docker compose -f docker-compose.yml -f docker-compose.app.yml up -d --build   # 앱 2대 + nginx
  • Flyway는 전용 컨테이너가 실행한다. 앱은 flyway.enabled: false다. 앱 2대가 동시에 기동해도 같은 스키마에 마이그레이션이 겹치지 않게 하려는 것이다. 그래서 앱 jar만 빈 DB에 띄우면 Schema validation: missing table로 기동에 실패한다(마이그레이션이 아직 실행되지 않았다는 뜻이다).
  • PG 구현은 ticket-rush.payment.gateway(fake 또는 toss)로 명시한다. 값이 없으면 기동이 실패한다. 설정이 빠진 배포가 가짜 PG로 기동되는 일을 막기 위해서다. 가짜 PG는 local, docker, test 프로필에서만 켜진다.
  • 부하 측정 중에는 observability만 켠다. UI가 CPU를 나눠 쓰면 측정이 왜곡된다.

스케줄러

스케줄러 주기 하는 일
대기열 승격 1초 초당 예산(100)만큼 대기자를 활성으로
대기열 정리 1분 공연 시작 1시간 뒤 대기열 키를 UNLINK로 정리
홀드 만료 30초 만료된 홀드의 예약과 좌석을 되돌림
Outbox 릴레이 1초 PENDING 알림을 가져가 발송, 실패 시 30초 간격 최대 5회
Outbox 회수 30초 60초 넘게 PROCESSING인 행을 PENDING으로
결제 회수 5초 PG 응답을 못 받은 PENDING을 PG 조회로 정리
환불 재시도 30초 환불이 안 끝난 취소 건을 5분 간격으로 재시도(첫 시도 포함 최대 5회)
환불 대기 건수 갱신 15초 환불 미처리 건수를 지표로

앱이 2대여도 중복 실행으로 문제가 생기지 않게 각 작업이 자기 장치를 갖는다(Outbox SKIP LOCKED, 승격의 Redis 예산 키, 멱등한 만료 UPDATE, 낙관적 락). 별도의 분산 락 라이브러리는 쓰지 않는다.

알림 (Prometheus 규칙)

알림 뜻
PaymentRefundRequired 환불이 필요한데 처리되지 않은 결제가 있음
PaymentRefundExhausted 환불 시도를 소진한 취소 건이 있음
PaymentRefundBacklogStale 환불 미처리 건수 갱신이 멈춤
PaymentRefundBacklogAbsent 환불 미처리 건수 지표가 수집되지 않음
PaymentGatewayInconsistent 인스턴스마다 PG 구현이 다름

환불 대시보드는 Grafana 1개다. 알림을 전달하는 Alertmanager는 아직 없다. 응답 시간 SLO를 운영에서 보려면 http_server_requests_seconds 히스토그램이 필요해서 설정으로 켜 두었다.

런북

문서 언제
docs/runbook/payment-gateway-switch.md 가짜 PG와 Toss를 전환할 때. 결제가 남은 채로 바꾸면 안 되는 이유와 확인 SQL이 있다
docs/runbook/payment-refund-manual-handling.md 환불 시도를 소진했거나 환불이 필요한 건을 사람이 처리할 때
docs/runbook/redis-failure-handling.md Redis 재시작, 메모리 가득 참, QUEUE_FULL, 큰 키 삭제, 지연 증가

Redis 장애 요약

상황 대기열 비고
프로세스 재시작 남는다 AOF everysec라 마지막 약 1초는 유실될 수 있다
컨테이너 재생성 남는다 이름 있는 볼륨에 AOF가 있다
볼륨 삭제 사라진다 사용자는 다시 줄을 선다. 이중 판매는 없다(DB가 판정)
시작 직후 LOADING 503과 Retry-After 50만 명 규모의 로드는 약 0.3~0.6초
메모리 가득 참(OOM) 줄서기와 홀드 503, 순번 조회는 200 헬스는 계속 UP이라 헬스로는 알 수 없다. INFO memory로 확인한다

Redis는 단일 노드라 응답하지 않거나 연결이 재설정되는 동안 줄서기, 순번 조회, 홀드가 503이다(설계 결정 5).

운영 시 주의할 점:

  • 큰 키는 DEL이 아니라 UNLINK로 지운다. 50만 멤버 ZSET의 DEL은 약 28ms 동안 서버 전체를 멈추고 UNLINK는 약 0.3ms다.
  • RDB로 돌던 인스턴스에 --appendonly yes만 주고 재시작하면 AOF 파일이 없어 빈 상태로 시작한다. 절차는 런북에 있다.
  • Redis 컨테이너에 CPU 한도를 1개로 걸면 AOF rewrite 중 메인 스레드가 45~58ms 멈춘다.

503의 종류

코드 낸 곳 뜻
SERVER_BUSY nginx 동시 연결 상한 초과. SLO 실패로 센다
QUEUE_FULL 앱 대기열이 가득 참. 의도된 거절이라 SLO에서 제외하고, nginx가 1~2초 재사용한다
TEMPORARILY_UNAVAILABLE 앱 Redis 일시 장애나 DB 연결 풀 고갈. 실패로 센다
PAYMENT_GATEWAY_UNAVAILABLE 앱 결제사 장애

Retry-After 값은 낸 곳마다 다르다. nginx의 SERVER_BUSY는 3, 5, 7, 10초 중 하나이고, 앱의 QUEUE_FULL과 TEMPORARILY_UNAVAILABLE은 5~10초 무작위다. PAYMENT_GATEWAY_UNAVAILABLE은 결제 승인 응답에서 stale-claim-timeout(10초)을 준다.

관측

  • 느린 요청은 nginx 접근 로그(느린 요청과 서버 오류만, $request_time과 $upstream_*)와 앱의 느린 요청 로그를 요청 id(X-Request-Id)로 이어서 k6/slow-requests.py가 표로 만든다. 읽는 법은 docs/slow-requests.md에 있다.
  • 한계: nginx 접근 로그가 100ms 이상이거나 500, 502, 504만 남겨서 동시 연결 상한 503은 로그에 없다. 재사용된 거절(X-Cache-Status: HIT)은 앱 로그에 남지 않고 queue.register.rejected 카운터에도 빠진다.

Clone this wiki locally