Skip to content

ELOG 015 tempo oom crashloop

wcorn edited this page Jun 16, 2026 · 1 revision

ELOG-015: tempo-0 OOMKilled CrashLoopBackOff

항목 내용
분류 🔧 트러블슈팅
날짜 2026-06-17
영역 Infra
관련 이슈/PR #536, #537
상태 조치 — 배포(머지) 검증 대기

1. 상황 (Before)

ArgoCD에서 tempo app이 Progressing. tempo-0가 약 37시간째 CrashLoopBackOff(434회 재시작). 트레이스 수집/조회 중단. loki-0은 정상(2/2).

2. 원인 분석

  • kubectl get pod tempo-0 -o jsonpath='{.status.containerStatuses[0].lastState}' → OOMKilled, exitCode 137. 기동 후 ~6초(WAL replay → "completing block" → blocklist poll metas=720) 시점에 사망.
  • 컨테이너 메모리 limit을 확인하니 512Mi. 그런데 infra/helm/tempo/values.yaml엔 limit 512Mi가 명시돼 있었음에도, StatefulSet 렌더 결과 resources: {} 였다.
  • 원인: grafana/tempo 차트는 컨테이너 resources를 .Values.tempo.resources(중첩)에서 읽는데(statefulset.yaml: toYaml .Values.tempo.resources), wrapper values는 resources를 top-level(tempo.resources)에 둬서 무시됨. 결과적으로 컨테이너엔 limit이 없었고, 네임스페이스 LimitRange default-limits의 기본값 512Mi가 적용되고 있었다.
  • 즉 "512Mi로 설정된 것"이 아니라 "설정이 안 먹어서 LimitRange 기본값 512Mi"였고, 100% 트레이스 샘플링 + 30일 보존으로 블록이 720개까지 쌓여 기동 시 메모리 스파이크 → OOM.

3. 조치 (PR #537)

  • tempo/values.yaml: resources를 tempo.tempo.resources(차트가 읽는 위치)로 이동 + limit 512Mi→1.5Gi, request 512Mi.
  • tempo/values.yaml: retention 720h→168h(7일) — 블록 수↓ → blocklist 폴링 메모리↓.
  • istiod/values.yaml + istiod/templates/telemetry.yaml: 트레이스 샘플링 100→10 (블록 증가 억제).
  • helm template 렌더로 tempo 컨테이너 resources.limits.memory=1536Mi 실제 적용 확인(기존 {}).

4. 결과 (After)

  • (머지/ArgoCD 동기화 후) tempo-0 재기동 시 1.5Gi 한도로 WAL replay·블록 완료 통과 예상. retention/샘플링 축소로 블록 증가 억제.
  • 노드 메모리 여유 충분(note1 56%, note2 41%)으로 1.5Gi 상향 안전.

5. 교훈 / 후속

  • wrapper(서브차트) values는 키 위치가 정확해야 한다. 차트가 .Values.tempo.resources를 읽으면 wrapper도 tempo.tempo.resources로 중첩해야 함. helm template로 컨테이너 resources가 실제로 박혔는지 확인할 것(렌더 {}면 미적용).
  • LimitRange 기본값이 조용히 limit을 채운다. "limit이 있는데 작다"가 아니라 "내 설정이 안 먹고 기본값이 적용된" 경우를 의심.
  • 머지 후 kubectl get pod tempo-0(재시작 0, Running)·lastState·메모리 사용량으로 검증 필요.

참고

Clone this wiki locally