Repository navigation
Operations
KTH1007 edited this page Nov 6, 2026
·
8 revisions
실행 방법, 스케줄러, 알림, 장애 대응 절차를 모았다. 절차의 원본은 저장소의 docs/runbook/이고 이 페이지는 지도 역할을 한다.
cp .env.example .env # PHONE_HMAC_KEY, PHONE_ENCRYPTION_KEY, GRAFANA_ADMIN_PASSWORD 등
docker compose up -d # PostgreSQL, Redis, Flyway 마이그레이션
./gradlew bootRun # local 프로필이 기본값, 가짜 PG
docker compose --profile observability up -d # Prometheus, Grafana까지
docker compose -f docker-compose.yml -f docker-compose.app.yml up -d --build # 앱 2대 + nginx-
Flyway는 전용 컨테이너가 실행한다. 앱은
flyway.enabled: false다. 앱 2대가 동시에 기동해도 같은 스키마에 마이그레이션이 겹치지 않게 하려는 것이다. 그래서 앱 jar만 빈 DB에 띄우면Schema validation: missing table로 기동에 실패한다(마이그레이션이 아직 실행되지 않았다는 뜻이다). - PG 구현은
ticket-rush.payment.gateway(fake또는toss)로 명시한다. 값이 없으면 기동이 실패한다. 설정이 빠진 배포가 가짜 PG로 기동되는 일을 막기 위해서다. 가짜 PG는 local, docker, test 프로필에서만 켜진다. - 부하 측정 중에는 observability만 켠다. UI가 CPU를 나눠 쓰면 측정이 왜곡된다.
| 스케줄러 | 주기 | 하는 일 |
|---|---|---|
| 대기열 승격 | 1초 | 초당 예산(100)만큼 대기자를 활성으로 |
| 대기열 정리 | 1분 | 공연 시작 1시간 뒤 대기열 키를 UNLINK로 정리 |
| 홀드 만료 | 30초 | 만료된 홀드의 예약과 좌석을 되돌림 |
| Outbox 릴레이 | 1초 | PENDING 알림을 가져가 발송, 실패 시 30초 간격 최대 5회 |
| Outbox 회수 | 30초 | 60초 넘게 PROCESSING인 행을 PENDING으로 |
| 결제 회수 | 5초 | PG 응답을 못 받은 PENDING을 PG 조회로 정리 |
| 환불 재시도 | 30초 | 환불이 안 끝난 취소 건을 5분 간격으로 재시도(첫 시도 포함 최대 5회) |
| 환불 대기 건수 갱신 | 15초 | 환불 미처리 건수를 지표로 |
앱이 2대여도 중복 실행으로 문제가 생기지 않게 각 작업이 자기 장치를 갖는다(Outbox SKIP LOCKED, 승격의 Redis 예산 키, 멱등한 만료 UPDATE, 낙관적 락). 별도의 분산 락 라이브러리는 쓰지 않는다.
| 알림 | 뜻 |
|---|---|
PaymentRefundRequired |
환불이 필요한데 처리되지 않은 결제가 있음 |
PaymentRefundExhausted |
환불 시도를 소진한 취소 건이 있음 |
PaymentRefundBacklogStale |
환불 미처리 건수 갱신이 멈춤 |
PaymentRefundBacklogAbsent |
환불 미처리 건수 지표가 수집되지 않음 |
PaymentGatewayInconsistent |
인스턴스마다 PG 구현이 다름 |
환불 대시보드는 Grafana 1개다. 알림을 전달하는 Alertmanager는 아직 없다. 응답 시간 SLO를 운영에서 보려면 http_server_requests_seconds 히스토그램이 필요해서 설정으로 켜 두었다.
| 문서 | 언제 |
|---|---|
docs/runbook/payment-gateway-switch.md |
가짜 PG와 Toss를 전환할 때. 결제가 남은 채로 바꾸면 안 되는 이유와 확인 SQL이 있다 |
docs/runbook/payment-refund-manual-handling.md |
환불 시도를 소진했거나 환불이 필요한 건을 사람이 처리할 때 |
docs/runbook/redis-failure-handling.md |
Redis 재시작, 메모리 가득 참, QUEUE_FULL, 큰 키 삭제, 지연 증가 |
| 상황 | 대기열 | 비고 |
|---|---|---|
| 프로세스 재시작 | 남는다 | AOF everysec라 마지막 약 1초는 유실될 수 있다 |
| 컨테이너 재생성 | 남는다 | 이름 있는 볼륨에 AOF가 있다 |
| 볼륨 삭제 | 사라진다 | 사용자는 다시 줄을 선다. 이중 판매는 없다(DB가 판정) |
시작 직후 LOADING
|
503과 Retry-After
|
50만 명 규모의 로드는 약 0.3~0.6초 |
| 메모리 가득 참(OOM) | 줄서기와 홀드 503, 순번 조회는 200 | 헬스는 계속 UP이라 헬스로는 알 수 없다. INFO memory로 확인한다 |
Redis는 단일 노드라 응답하지 않거나 연결이 재설정되는 동안 줄서기, 순번 조회, 홀드가 503이다(설계 결정 5).
운영 시 주의할 점:
- 큰 키는
DEL이 아니라UNLINK로 지운다. 50만 멤버 ZSET의DEL은 약 28ms 동안 서버 전체를 멈추고UNLINK는 약 0.3ms다. - RDB로 돌던 인스턴스에
--appendonly yes만 주고 재시작하면 AOF 파일이 없어 빈 상태로 시작한다. 절차는 런북에 있다. - Redis 컨테이너에 CPU 한도를 1개로 걸면 AOF rewrite 중 메인 스레드가 45~58ms 멈춘다.
| 코드 | 낸 곳 | 뜻 |
|---|---|---|
SERVER_BUSY |
nginx | 동시 연결 상한 초과. SLO 실패로 센다 |
QUEUE_FULL |
앱 | 대기열이 가득 참. 의도된 거절이라 SLO에서 제외하고, nginx가 1~2초 재사용한다 |
TEMPORARILY_UNAVAILABLE |
앱 | Redis 일시 장애나 DB 연결 풀 고갈. 실패로 센다 |
PAYMENT_GATEWAY_UNAVAILABLE |
앱 | 결제사 장애 |
Retry-After 값은 낸 곳마다 다르다. nginx의 SERVER_BUSY는 3, 5, 7, 10초 중 하나이고, 앱의 QUEUE_FULL과 TEMPORARILY_UNAVAILABLE은 5~10초 무작위다. PAYMENT_GATEWAY_UNAVAILABLE은 결제 승인 응답에서 stale-claim-timeout(10초)을 준다.
- 느린 요청은 nginx 접근 로그(느린 요청과 서버 오류만,
$request_time과$upstream_*)와 앱의 느린 요청 로그를 요청 id(X-Request-Id)로 이어서k6/slow-requests.py가 표로 만든다. 읽는 법은docs/slow-requests.md에 있다. - 한계: nginx 접근 로그가 100ms 이상이거나 500, 502, 504만 남겨서 동시 연결 상한 503은 로그에 없다. 재사용된 거절(
X-Cache-Status: HIT)은 앱 로그에 남지 않고queue.register.rejected카운터에도 빠진다.