Skip to content

ELOG 014 slo dashboard no data

wcorn edited this page Jun 16, 2026 · 1 revision

ELOG-014: SLO 대시보드 전 패널 No data

항목 내용
분류 🔧 트러블슈팅
날짜 2026-06-16
영역 Infra
관련 이슈/PR #534, #535
상태 해결

1. 상황 (Before)

Grafana SLO Overview 대시보드의 모든 패널(가용성 SLI, 지연 SLI, 번레이트, 30일 누적, 에러 예산)이 No data. 알림(번레이트)도 발동 이력이 없었다.

2. 원인 분석

Prometheus에 직접 질의하며 좁혔다.

  1. 지연 버킷 라벨 불일치(주원인): recording rule과 대시보드가 istio_request_duration_milliseconds_bucket{...,le="500"}을 조회했지만, 실제 istio 히스토그램의 버킷 라벨은 0.5, 1.0, ..., **500.0**, 1000.0 ... 형식이라 le="500"은 0건 매칭.
    • vectorA - vectorB에서 vectorB(le=500)가 비면 결과가 통째로 empty → 지연 slow_ratio/번레이트가 처음부터 산출 불가.
  2. 가용성 zero-fill 누락: sum(rate(5xx)) / sum(rate(total))에서 최근 5xx가 없으면 분자 벡터가 비어 division 결과가 empty → 트래픽이 있어도 0%가 아니라 "No data".
  3. be 사이드카 destination 메트릭 부재(부수): be 파드가 메시 구성 이후 재시작된 적이 없어, 사이드카(native sidecar, initContainer)는 있었으나 destination 메트릭이 스크랩되지 않는 상태. reporter=destination이 be에 없고 게이트웨이의 reporter=source만 존재.
    • 처음엔 spec.containers만 확인해 "사이드카 없음"으로 오판했으나, 네이티브 사이드카는 initContainers(restartPolicy=Always)에 들어가 있었다.

3. 조치

  • recording rule 지연 4종: le="500" → le="500.0".
  • SLO 대시보드 30일 지연 패널 2종: 동일 수정.
  • 가용성 recording rule 4종: ( sum(rate(5xx)) or 0 * sum(rate(total)) ) / sum(rate(total)) 로 zero-fill → 5xx가 없을 때 0%(=가용성 100%) 표시. 번레이트 알림 로직엔 영향 없음(0 < 임계).
  • be/fe kubectl rollout restart → 사이드카 재주입·스크랩 정상화로 reporter=destination 메트릭 확보.

4. 결과 (After)

  • Prometheus 실측(보정 쿼리): 지연 slow_ratio = be/fe 각 series 산출(0 = 100% fast), 가용성 error_ratio = be/fe 각 0(= 100% avail). 기존엔 0 series(No data).
  • 트래픽이 있으면 SLO 패널이 정상 수치 표시. 지연 번레이트 알림도 평가 가능 상태로 복구.

5. 교훈 / 후속

  • histogram le 라벨은 정수가 아니라 float 문자열(500.0)일 수 있다. 버킷 셀렉터는 count by (le)(...)로 실제 라벨을 먼저 확인하고 쓴다.
  • 비율 메트릭은 분자가 빌 때 No data가 된다. SLI는 or 0 * <denominator>로 zero-fill해 "데이터 없음"과 "0%"를 구분한다.
  • 네이티브 사이드카는 initContainers에 있으므로 spec.containers만 보고 주입 여부를 판단하지 말 것.
  • SLO/번레이트 대시보드는 트래픽이 0이면 본질적으로 비어 보인다(단일 사용자 idle).

참고

Clone this wiki locally