Skip to content

Design Decisions

KTH1007 edited this page Nov 6, 2026 · 9 revisions

설계 결정

결정마다 무엇을 골랐고, 왜 그랬고, 무엇을 버렸고, 어디까지 확인했는지를 적는다. 대안은 기록으로 남아 있는 것만 적었다. 수치는 측정과 결과와 docs/를 기준으로 한다.

# 결정 한 줄
1 Redis 대기열로 DB를 보호한다 접속자는 Redis가 받고 DB는 승격된 사람만 쓴다
2 승격 속도 초당 100명 가정치로 시작했고 사후에 근거를 확인했다
3 좌석 정합성은 DB가 판정한다 Redis는 거르고 최종은 조건부 UPDATE
4 순번 조회는 폴링이다 SSE 대신 서버가 간격을 지시하는 폴링
5 Redis는 단일 노드다 Sentinel은 실험만, Cluster는 구조상 불가
6 Outbox를 쓰고 Kafka는 쓰지 않는다 최소 한 번 전달, 폴링 릴레이
7 결제 멱등성 예약당 결제 1건, 시도별 PG 키
8 앞단(nginx)에서 거른다 동시 연결 상한, 거절 재사용, 배치 캐시
9 앱 로컬 캐시의 편차를 받아들인다 정합성 위험은 없고 UX 비용만 있다
10 안 쓰는 인덱스만 지운다 유니크 제약은 안전장치라 남긴다

1. Redis 대기열로 DB를 보호한다

결정. 예매 오픈 때 몰리는 접속자를 Redis 대기열에 세우고, 앱이 DB를 쓰는 사람 수를 승격으로 조절한다.

이유. 수십만 명이 동시에 좌석 조회, 홀드, 결제를 시도하면 DB 연결 풀(20개)과 행 잠금이 먼저 한계에 닿는다. 대기열의 목적은 많은 사람을 동시에 처리하는 것이 아니라 DB로 넘어가는 속도를 조절하는 것이다.

구조.

  • 줄서기: Lua 한 번으로 오픈 전, 공연 시작 뒤, 대기열 50만 도달, IP별 발급 한도를 판정한다. 통과하면 INCR로 순번을 주고 대기 ZSET에 넣는다. 시각은 앱 시계가 아니라 Redis TIME으로 판정해 인스턴스 시계 차이를 없앤다.
  • 순번 조회: 앱이 Lua를 한 번 실행해 rank(내 순번 - 마지막 승격 순번)를 돌려준다. 조회가 곧 생존 신호다(토큰 TTL 15분 연장).
  • 승격: 1초마다 ZPOPMIN으로 앞사람부터 최대 100명에게 활성 토큰(TTL 2분)을 준다. 예산은 Redis 시계의 초 단위 키로 세므로 앱이 여러 대여도 합계가 100을 넘지 않는다. 한때 승격이 활성 공연마다, 앱 인스턴스마다 곱해져 목표의 N배가 된 적이 있어 전역 예산으로 고쳤다.
  • 토큰이 만료된 사람은 승격 때 건너뛴다. 조회가 끊긴 이탈자를 따로 지우지 않아도 된다.

근거. 대기자 50만 명이 쓰는 Redis 메모리는 약 100~112MiB다. DB를 쓰는 것은 승격된 사람뿐이라 DB 부하는 대기자 수가 아니라 승격 속도가 정한다. 목표 규모 전체 측정(V2)에서 Postgres CPU 평균은 21~32%, Redis는 13~15%였다(#169).

한계. V2의 승격은 줄 앞 토큰을 미리 활성으로 만들어 모사한 것이다(실제 승격 스케줄러는 별도 측정). 순번 조회 폴링이 가용성 SLO를 못 맞췄다(사례 2).

2. 승격 속도 초당 100명

결정. 승격 속도를 설정(ticket-rush.queue.promotion-budget-per-second)으로 두고 100으로 정했다.

값의 출처. README의 목표(승격 및 DB 반영 100 TPS)에서 가져온 가정치다. DB 처리량이나 풀 크기에서 계산한 값이 아니다. 의도는 대기열이 받는 유입(줄서기 2,000 TPS, 대기 50만)과 DB로 넘어가는 처리량의 자릿수를 일부러 분리하는 것이었다.

사후에 설명할 수 있는 근거.

  • 동시에 좌석을 고르는 사람은 최대 약 12,000명(100 x 활성 TTL 120초)으로 좌석 30,000석과 같은 자릿수다. 너무 높으면 좌석보다 많은 사람이 같은 좌석을 두고 경쟁해 홀드 충돌만 늘고, 너무 낮으면 판매가 늘어진다.
  • 3만 석이 다 팔리는 데 150~300초(1인 1~2매)가 걸린다.
  • 측정에서 DB는 병목이 아니었다(흐름 40~120명/s에서 홀드 p95 3~6ms, #169의 V1 측정).

승격은 개방 루프다. DB 풀 상태와 무관하게 초당 100명을 정해진 속도로 활성화한다. 풀 사용률을 읽어 조절하는 폐루프는 인스턴스가 여럿이면 풀 상태를 합쳐야 하는 구현 부담이 있다. 대안으로 홀드 API에 동시 처리 한도를 두어 대기 대신 즉시 거절하는 방식을 검토했다.

한계. 100이 최적이거나 최대라는 증거는 없다. 속도를 50, 100, 200, 400, 800/s로 올리며 꺾이는 지점을 찾는 측정은 하지 않았다. 병목은 DB가 아니라 앱 CPU, 힙, nginx 상한이었으므로 DB 기준으로는 더 높여도 될 가능성이 크다. 실제 Toss의 동시 호출 한도도 가짜 PG라 확인하지 못했다.

3. 좌석 정합성은 DB가 판정한다

결정. Redis는 거르는 용도로만 쓰고, 좌석의 최종 판정은 PostgreSQL의 조건부 UPDATE(WHERE status = 'AVAILABLE')가 한다.

이유. Redis는 유실될 수 있고(재시작, 볼륨 삭제, 분단) 그럴 때에도 이중 판매가 생기면 안 된다.

  • 홀드는 Redis로 좌석마다 먼저 선점(SET NX)해서 충돌할 요청이 DB 연결을 잡지 않게 하고, 통과한 요청만 DB 트랜잭션에서 확정한다. Redis 선점은 트랜잭션 밖에서 한다.
  • 1인 2매는 seat의 (phone_hash, event_id, slot_no) 부분 유니크 인덱스(HELD, SOLD만 대상)가 최종 방어한다. 애플리케이션 검증만으로는 동시 요청을 막지 못한다.
  • 결제 확정은 한 트랜잭션에서 예약 PAID, 예매번호, 좌석 SOLD, 결제 SUCCESS, Outbox 기록을 함께 처리한다.

결과. Redis가 비거나 내려가도 이중 판매는 생기지 않는다. 잃는 것은 대기열 순번과 선점 표시다(docs/runbook/redis-failure-handling.md).

한계. Redis 마크와 DB가 어긋나는 동안에는 사용자가 이미 팔린 좌석을 눌러 409를 받을 수 있다. 정합성 문제는 아니고 UX 비용이다.

4. 순번 조회는 폴링이다

결정. 클라이언트가 앱의 GET /api/events/{id}/queues/me를 반복 호출한다. 앱이 요청마다 Redis를 읽는다. 클라이언트는 Redis에 직접 붙지 않는다(Redis는 127.0.0.1에만 열려 있다). SSE나 WebSocket은 쓰지 않는다.

서버가 간격을 정한다. 응답에 nextPollIntervalMs를 담는다. 100위 안은 2초, 그 밖은 앞까지 걸리는 시간의 1/4을 15초에서 5분 사이로 하고 지터 ±20%를 더한다. 대기자 50만 명이 15초 고정으로 조회하면 약 33,650/s인데 이 정책으로 약 3,158/s가 된다(계산).

SSE를 쓰지 않은 이유.

  • 대기자 50만 명이 앱 연결 50만 개를 유지해야 한다. 연결당 약 130KB(과부하 때 값)로 계산하면 약 65GB이고, 앱 힙은 512MiB다(계산이며 측정은 아니다).
  • 승격이 일어날 때마다 모두의 순번이 바뀌어 전원에게 푸시해야 한다.

대가. 이 폴링(3,200/s)이 V2에서 nginx 동시 연결 상한 503으로 가용성 95.57~99.03%를 냈다. 개선 후보는 앞순번 소수만 SSE나 롱폴링으로 하고 나머지는 긴 간격 폴링, 승격 알림만 푸시하는 혼합 방식이다. 구현도 측정도 하지 않았다.

5. Redis는 단일 노드다

결정. Redis를 한 대로 두고 Sentinel과 Cluster는 도입하지 않았다. 영속성은 AOF(appendfsync everysec), 메모리는 maxmemory 512mb와 noeviction이다(#139).

이유.

  • noeviction: evict되면 좌석 홀드가 오류 없이 삭제된다. 차라리 쓰기를 실패시킨다.
  • Cluster는 쓸 수 없다. 승격 스크립트가 Lua 안에서 키 이름을 문자열로 조립해서 모든 키를 KEYS[]로 미리 선언해야 하는 Cluster의 슬롯 라우팅과 맞지 않는다.
  • Sentinel은 v1 범위 밖으로 두었다. 대신 실험으로 성질을 확인했다(#107).

Sentinel 실험(마스터 1, 레플리카 2, Sentinel 3).

상황 결과
마스터 프로세스 kill, down-after-milliseconds 30초(기본) 복구 31.1~31.7초, 확인받은 쓰기 유실 0(3회)
같은 상황, 5초 설정 복구 약 6.17초, 유실 0. 복구 시간의 거의 전부가 감지 시간이다
마스터는 동작 중이고 레플리카와 Sentinel만 분단 보호 없이 분단 구간의 쓰기가 사라짐(3회 모두 약 63%)
같은 분단에 min-replicas-to-write 1 적용 63%에서 6.9%로 감소, 전환 약 12.5초(설정 없이 37.7초). 대가는 분단 중 쓰기 거부

HA를 넣어도 비동기 복제라 유실이 0은 아니다. 분단 중에는 "받고 유실할지, 거부할지"를 골라야 한다. 한 대의 Mac 위 Docker VM이고 분단은 iptables로 모사한 것이라 실제 다중 노드와 다르다.

현재 영향. Redis가 응답하지 않거나(명령 타임아웃) 연결이 재설정되면 줄서기, 순번 조회, 홀드는 503과 Retry-After 5~10초로 거절된다. 명령 타임아웃은 docker pause와 컨테이너 중지로, 연결 재설정은 앱과 Redis 사이에 연결을 RST로 끊는 프록시를 두고 확인했다. 연결 재설정을 일시 장애로 분류하지 못하던 때는 같은 프록시 시험에서 요청 766건 중 610건이 Retry-After 없는 500이었고(원인 SocketException: Connection reset), 분류를 고친 뒤에는 요청 762건 중 500이 0건, 503이 612건이었다. 중단 동안 승격 스케줄러는 스택 트레이스가 붙은 오류 로그를 약 2초마다 남긴다(컨테이너를 약 37초 중지했을 때 앱당 16~17건). Redis를 다시 올리면 앱을 재시작하지 않아도 줄서기가 201로 회복했다. 재시작하면 AOF로 대기열이 복원된다(마지막 약 1초는 유실될 수 있다). 볼륨을 지우면 사라져서 다시 줄을 서야 한다. 이중 판매는 DB가 막는다. 즉 가용성 문제이고 Redis는 단일 장애점이다. Redis 장애 상황의 부하 측정은 하지 않았다.

6. Outbox를 쓰고 Kafka는 쓰지 않는다

결정. 확정과 취소의 같은 트랜잭션에서 Outbox 테이블에 기록하고, 폴링 릴레이가 처리한다. Kafka와 CDC는 쓰지 않는다. Spring Modulith 내장 이벤트 레지스트리 대신 커스텀 Outbox(V4 테이블)를 쓴다.

이유. 소비자가 SMS 게이트웨이 하나라 팬아웃 이점이 없다. 예약 확정과 알림 기록이 한 트랜잭션이라 알림 유실이 없다.

동작.

  • 릴레이는 FOR UPDATE SKIP LOCKED로 PENDING 행을 가져와 동시에 같은 행을 잡지 않는다.
  • 실패하면 30초 간격으로 최대 5회 재시도하고 이후 FAILED로 남긴다.
  • 처리 중 죽은 인스턴스가 잡고 있던 행은 60초 뒤 PENDING으로 회수한다. 회수는 시도 횟수를 올리지 않는다.

한계. 전달은 최소 한 번(at-least-once)이다. 발송 직후 완료 처리 전에 인스턴스가 죽으면 회수 뒤 같은 알림이 한 번 더 나갈 수 있다. 현재 SMS 게이트웨이는 가짜 어댑터이고, 실제 벤더를 붙일 때는 수신 측이 중복을 견뎌야 한다. FAILED 행을 되살리는 도구는 없다.

7. 결제 멱등성

결정. 예약당 결제는 1건(uk_payment_reservation)이고, PG를 부르기 전에 결제를 PENDING으로 선점한다. 겹친 요청은 낙관적 락 충돌로 걸려 409가 된다.

Toss의 Idempotency-Key는 시도마다 다르다. 예약의 멱등키에 시도 횟수를 섞어 만든다. Toss는 성공뿐 아니라 거절 응답도 같은 키로 15일간 재생한다(샌드박스에서 확인). 키를 고정하면 카드가 거절된 뒤 새 카드로 시도해도 첫 거절이 계속 반환된다. 키를 바꿔도 이중 청구와 이중 환불은 Toss가 막는다(이미 승인된 결제는 ALREADY_PROCESSED_PAYMENT, 이미 취소된 결제는 ALREADY_CANCELED_PAYMENT).

PG 응답을 못 받은 PENDING. 회수 스케줄러가 PG 조회로 정리한다. 이미 승인됐으면 확정한다. 다른 키로 덮어쓰기 전에 이전 키를 조회하고, 조회가 안 되면 덮어쓰지 않고 충돌로 응답한다.

한계. 서버 오류(5xx)는 에러 재현 헤더로 만든 모의 에러에서는 재생됐지만, 실제 5xx와 타임아웃이 저장되는지는 확인하지 못했다. 실제 Toss의 지연과 호출 한도는 가짜 PG라 재지 못했다.

8. 앞단(nginx)에서 거른다

결정. 앱에 닿기 전에 nginx가 세 가지를 맡는다.

  • 동시 연결 상한: 줄서기 500, 순번 조회 250을 넘으면 503(SERVER_BUSY)과 Retry-After(3~10초 분산)로 거절한다. 앱 힙(512MiB)을 지키는 장치다.
  • 거절 재사용: 가득 찬 대기열의 거절을 1~2초 재사용한다(사례 3). 앱이 Cache-Control을 붙인 응답만 저장한다.
  • 좌석 배치 캐시: 응답이 커서 앱이 새 사용자마다 내보내면 CPU를 많이 쓰므로 nginx가 캐시한다. 앱 CPU 평균이 93~147%에서 49~53%로 줄었다.

홀드와 결제는 동시 연결을 제한하지 않는다.

대가. 순번 조회 상한(250)이 SLO 99.9%에 비해 낮다. 올리면 힙이 부족해질 수 있어서, 상한을 올린 실험으로도 해결하지 못했다(사례 2). 상한은 nginx 하나가 세는 합계라 앱이 2대가 되면 값을 다시 정해야 하는데 이번 측정에서 확인하지 못했다.

9. 앱 로컬 캐시의 편차를 받아들인다

상황. 앱 메모리에 인스턴스별로 따로 있는 캐시가 셋이다.

캐시 갱신 편차
좌석 상태 스냅샷(/seats/status) 약 1초마다 각자 갱신, 최대 5초까지 오래된 것을 씀 실제로 어긋남
매진 여부(순번 조회의 soldOut, 승격 판단) 각자 1초 캐시 최대 1초
좌석 배치(/seats/layout) 각자 10분 배치를 바꾸는 API가 없어 편차가 생기지 않음

nginx가 캐시하는 것은 배치뿐이고 상태는 캐시하지 않는다. nginx가 번갈아 보내므로 같은 사용자의 연속 요청이 다른 앱에 가면 팔린 좌석이 홀드됨, 선택 가능, 홀드됨으로 이전 상태가 다시 표시될 수 있다(응답의 builtAt으로 나이를 볼 수 있다).

결정. 받아들인다. 홀드와 결제는 이 캐시를 쓰지 않는다(홀드는 Redis 선점과 DB 조건부 UPDATE, 결제는 DB 상태). 매진 여부 캐시는 두 곳에서만 쓰이고, 승격 예산은 Redis 전체 합계라 인스턴스가 1초 늦게 알아도 100/s를 넘지 않는다. 비용은 UX와 불필요한 요청(눌렀더니 홀드 409)이다.

개선 옵션(모두 미구현). (1) 상태에도 nginx 캐시 1초(nginx가 여러 대면 노드별 캐시라 편차가 다시 생김), (2) 클라이언트가 더 오래된 builtAt의 스냅샷을 무시(인프라와 무관하고 비용이 가장 낮음), (3) Redis에 공유 스냅샷. 스냅샷을 판매 판단에 쓰기 시작하면 그때부터는 정합성 문제가 생길 수 있다(지금은 아니다).

10. 안 쓰는 인덱스만 지운다

결정. 쿼리와 EXPLAIN으로 확인해 지운 것은 2개다(V17, #173, PR #174).

  • ix_seat_event_status: uk_seat_ordinal과 겹친다. 매진 확인의 status <> 'SOLD'는 인덱스가 있어도 타지 않는다.
  • ix_payment_settlement: 타는 쿼리가 없다. 정산을 만들 때 쿼리에 맞춰 다시 설계한다.

남긴 것. 유니크 제약은 조회에 안 쓰여도 중복을 막는 안전장치라 "미사용"과 "불필요"가 다르다. 이력 표의 ix_payment_history_payment는 운영 조회용이라 남겼다. 정산 예정 테이블(settlement_daily)도 남겼다.

확인 방법. 판정 표의 3칸을 호출처 grep과 EXPLAIN으로 다시 확인해 정정했다. 인덱스 사용 여부는 이름이나 추정이 아니라 쿼리와 실행 계획으로 판단한다. 이 정리의 이득은 크지 않다(쓰기가 승격 100/s로 제한된다). 목적은 각 인덱스가 왜 있는지 설명할 수 있는 상태로 만드는 것이다.