Skip to content

ELOG 035 import gateway timeout invisible

wcorn edited this page Sep 10, 2026 · 1 revision

ELOG-035: 가져오기가 늘 실패하는데 서버 로그엔 아무것도 없다

항목 내용
분류 🔧 트러블슈팅
날짜 2026-09-10
영역 Infra
관련 이슈/PR #1379, #1380
상태 조치 완료 (PR 머지 대기)

1. 상황 (Before)

가계부 가져오기에서 열 맞추기와 미리 보기까지 정상으로 지나간 뒤, 실행을 누르면 화면에 「가져오지 못했어요.」 만 떴다. 사용자 제보.

토스트는 useExecuteImport의 onError가 내는 일반 문구라 아무것도 말해 주지 않는다. 그래서 서버를 봤는데 — BE 앱 로그에 /api/ledger/import/execute가 한 줄도 없었다. MdcLoggingFilter는 finally에서 찍으므로 4xx·5xx는 물론 예외로 끝난 요청도 남는다. 그런데 없었다.

바로 앞 요청은 멀쩡했다.

21:40:26  POST /api/ledger/import/preview 200 2339ms
21:41:34  GET  /api/ledger/settings   200
21:41:34  GET  /api/ledger/categories 200
21:41:34  GET  /api/ledger/import/batches 200
21:41:34  GET  /api/ledger/assets     200
21:41:34  GET  /api/ledger/summary    200

preview는 200으로 끝났고, 68초 뒤 GET 다섯 개가 한꺼번에 왔다. 저 다섯은 invalidateLedger가 무효화하는 쿼리 목록 그대로다 — useExecuteImport의 onSettled가 성공·실패를 가리지 않고 부른다. 즉 execute 뮤테이션은 분명히 끝났고, 실패했고, 서버는 그 요청을 본 적이 없다.

2. 원인 분석

앱 로그가 비어 있으니 그 앞단을 봤다.

게이트웨이 지표. Prometheus에서 istio-gateway → be의 응답 코드를 20분치로 뽑았다.

{response_code="200", response_flags="-"}        111.8
{response_code="400", response_flags="-"}         10.3
{response_code="504", response_flags="URX,UT"}     2.1

UT는 upstream timeout, URX는 재시도 한도/시도당 타임아웃 소진이다. 카운터 원본을 보니 9 → 11로, 문제 구간에 정확히 2건 늘었다.

be 사이드카. reporter="destination" 쪽에서는 이렇게 보였다.

{response_code="0", response_flags="DC"}   27 → 32

DC = downstream connection termination. 응답을 만들기 전에 아래쪽(게이트웨이)이 스트림을 끊었다는 뜻이다. 5건 — 원 요청 1 + 재시도 2를, 두 번.

설정. infra/helm/istio-gateway/templates/virtualservice-be.yaml은 api.orino.dev의 모든 경로에 한 벌을 걸고 있었다.

timeout: 10s
retries:
  attempts: 2
  perTryTimeout: 3s
  retryOn: 5xx,reset,connect-failure

가져오기 실행은 파일을 다시 올려 전부 파싱하고 거래를 insert한다. 3초에 끝날 일이 아니다. 3초마다 끊기고 두 번 재시도한 뒤 10초에 504로 끝났다.

그리고 이것이 앱 로그가 빈 이유다. 게이트웨이는 10초에 포기했지만 BE는 그 사실을 모른 채 계속 일하고 있었다. 요청이 끝나지 않았으니 finally도 돌지 않았다.

같은 일이 앞 단계에서도 있었다. 되짚어 보니 열 읽기에서도 같은 자국이 있었다.

21:27:02~09  POST /api/ledger/import/analyze 200 11177ms   (27건, 전부 10~14초)
21:27:21~28:01  POST /api/ledger/import/analyze 200 50~200ms  (10건)

앞의 27건은 파일 9장 × (1 + 재시도 2) 다. 서버는 전부 200으로 끝냈지만 게이트웨이는 이미 10초에 504를 돌려준 뒤였다. 그때 504 카운터가 9까지 올라간 것이고, 사용자는 한 장씩 다시 올려 통과시켰다. 서버 로그의 200은 사용자가 받은 응답이 아니었다.

재시도가 부하를 3배로 만들어 HPA가 be를 1 → 3 파드로 늘려 놓기까지 했다.

데이터 확인. 절반만 들어갔는지 봤다.

SELECT COUNT(*) FROM ledger_import_batch;                          -- 0
SELECT COUNT(*) FROM ledger_transaction WHERE import_batch_id IS NOT NULL;  -- 0

매 시도가 커밋 전에 잘려 전부 롤백됐다. 유실도 중복도 없었다 — 다만 이건 운이다.

3. 조치

/api/ledger/import/를 별도 라우트로 갈랐다.

- name: import
  match:
    - uri:
        prefix: /api/ledger/import/
  corsPolicy: &cors { ... }
  timeout: 120s
  retries:
    attempts: 0        # 실행은 멱등이 아니다
  route: [ ... ]

- name: default
  corsPolicy: *cors
  timeout: 10s
  retries:
    attempts: 2
    retryOn: connect-failure   # 5xx,reset 제거
    perTryTimeout: 3s
  route: [ ... ]

세 가지가 같이 들어갔다.

① 가져오기 라우트의 재시도를 끈다. 실행은 시도마다 배치를 하나씩 만든다. BE가 8초에 커밋을 마친 뒤 게이트웨이가 10초에 끊는 타이밍이면 같은 파일이 세 번 들어간다. 이번에 안 그런 건 매번 커밋 전에 잘렸기 때문일 뿐이다.

② 나머지 라우트의 retryOn도 좁힌다. 5xx·reset은 요청이 이미 서버에 닿아 처리된 뒤에도 걸린다. 이 라우트로는 거래 생성·일괄 입력 같은 비멱등 POST가 지나간다. connect-failure는 연결 자체가 안 된 경우라 서버가 요청을 본 적이 없다 — 어떤 메서드에도 안전하다. 롤아웃 중 죽는 파드는 DestinationRule의 outlierDetection이 빼낸다.

③ corsPolicy를 앵커로 공유한다. 라우트마다 붙는 값이다. Authorization 헤더를 싣는 요청은 프리플라이트를 타므로, corsPolicy 없는 라우트가 OPTIONS를 받으면 브라우저가 응답을 버린다 — 그리고 서버 로그에는 200만 남는다. 이 이슈와 똑같은 모양의 함정이라 굳이 말로 남겼다.

rate limit은 값을 안 바꿨다. ELOG-014의 EnvoyFilter는 applyTo: HTTP_ROUTE이고 route를 가리지 않으므로, route가 둘이 되면 버킷도 둘이 된다(한 IP 기준 분당 1,200 → 2,400). 그 파일 주석이 "match를 하나 넣는 순간 조용히 두 배가 된다"고 경고하고 있던 바로 그 일이다. 값을 내리는 대신 결과를 주석에 적었다 — 실측 꼭대기가 분당 246이라 default는 여전히 2.4배 여유고, import는 로그인한 사용자만 닿는 데다 분당 600번 파일을 올릴 방법이 없다. 막으려는 건 평소 사용량이 아니라 폭주이고, 폭주는 route를 갈라도 route별로 걸린다. 「조용히」만 없애면 된다고 봤다.

4. 결과 (After)

머지 전 검증까지 끝냈다.

  • yamllint -c .yamllint.yml infra/ 통과
  • helm lint 통과, helm template | kubeconform -strict Valid 7 / Invalid 0
  • 렌더링 결과를 파싱해 앵커가 두 라우트 모두에 펼쳐지는지 확인 (allowHeaders·exposeHeaders 동일)
  • kubectl apply --dry-run=server로 Istio 검증 웹훅 통과 확인 — virtualservice.networking.istio.io/be configured

머지 후 실제 적용은 Envoy config_dump로 본다. api.orino.dev:443 vhost에 route가 import·default 둘로 잡히고, 둘 다 typed_per_filter_config에 local_ratelimit이 들어 있는지. ELOG-014에서 겪은 조용한 실패 지점이 정확히 여기다.

5. 교훈 / 후속

앱 로그의 200은 사용자가 받은 응답이 아니다. 이 건에서 가장 비쌌던 착각이다. analyze는 27건이 전부 200으로 찍혀 있었지만 사용자는 그중 아무것도 못 받았다. 게이트웨이가 먼저 포기했기 때문이다. 로그가 곱게 나온 구간을 「거긴 정상」으로 넘기면 안 된다.

로그가 비어 있다는 것 자체가 단서다. MdcLoggingFilter가 finally에서 찍는데 한 줄도 없다면, 요청이 안 왔거나 아직 안 끝난 것이다. 둘 다 앞단을 보라는 뜻이다. 이번엔 게이트웨이 지표(504 URX,UT)와 사이드카의 response_code=0, DC 두 개로 3분 만에 좁혀졌다. 액세스 로그가 꺼져 있어도 지표는 남는다.

FE의 무해해 보이는 refetch가 타임스탬프를 준다. onSettled의 invalidateLedger가 만든 GET 다섯 개가 「뮤테이션이 언제 실패했는지」를 서버 로그에 대신 적어 줬다. 브라우저 콘솔 없이 시각을 잡을 수 있었던 건 이것 덕이다.

타임아웃과 재시도는 vhost 전체에 한 벌로 걸 값이 아니다. 10초는 대부분의 API에 맞지만 업로드·이관에는 안 맞고, 재시도는 GET에 맞지만 POST에는 위험하다. 한 벌로 걸면 양쪽 다 틀린 값이 된다.

후속

  • Spring 기본 multipart 상한(max-file-size 1MB / max-request-size 10MB)이 BE에 명시돼 있지 않다. MAX_FILES = 20과 맞지 않아 큰 이관에서 걸릴 수 있다.
  • outlierDetection.consecutiveGatewayErrors: 5는 라우트 타임아웃이 만든 504도 센다. 이번처럼 504가 몰리면 be 파드가 스스로 빠질 수 있다. 타임아웃이 풀리면 재현되지 않겠지만 짚어 둔다.

참고

Clone this wiki locally