Repository navigation
ELOG 014 slo dashboard no data
wcorn edited this page Jun 16, 2026
·
1 revision
| 항목 | 내용 |
|---|---|
| 분류 | 🔧 트러블슈팅 |
| 날짜 | 2026-06-16 |
| 영역 | Infra |
| 관련 이슈/PR | #534, #535 |
| 상태 | 해결 |
Grafana SLO Overview 대시보드의 모든 패널(가용성 SLI, 지연 SLI, 번레이트, 30일 누적, 에러 예산)이 No data. 알림(번레이트)도 발동 이력이 없었다.
Prometheus에 직접 질의하며 좁혔다.
-
지연 버킷 라벨 불일치(주원인): recording rule과 대시보드가
istio_request_duration_milliseconds_bucket{...,le="500"}을 조회했지만, 실제 istio 히스토그램의 버킷 라벨은0.5, 1.0, ..., **500.0**, 1000.0 ...형식이라le="500"은 0건 매칭.-
vectorA - vectorB에서vectorB(le=500)가 비면 결과가 통째로 empty → 지연 slow_ratio/번레이트가 처음부터 산출 불가.
-
-
가용성 zero-fill 누락:
sum(rate(5xx)) / sum(rate(total))에서 최근 5xx가 없으면 분자 벡터가 비어 division 결과가 empty → 트래픽이 있어도 0%가 아니라 "No data". -
be 사이드카 destination 메트릭 부재(부수): be 파드가 메시 구성 이후 재시작된 적이 없어, 사이드카(native sidecar, initContainer)는 있었으나 destination 메트릭이 스크랩되지 않는 상태.
reporter=destination이 be에 없고 게이트웨이의reporter=source만 존재.- 처음엔
spec.containers만 확인해 "사이드카 없음"으로 오판했으나, 네이티브 사이드카는initContainers(restartPolicy=Always)에 들어가 있었다.
- 처음엔
- recording rule 지연 4종:
le="500"→le="500.0". - SLO 대시보드 30일 지연 패널 2종: 동일 수정.
- 가용성 recording rule 4종:
( sum(rate(5xx)) or 0 * sum(rate(total)) ) / sum(rate(total))로 zero-fill → 5xx가 없을 때 0%(=가용성 100%) 표시. 번레이트 알림 로직엔 영향 없음(0 < 임계). - be/fe
kubectl rollout restart→ 사이드카 재주입·스크랩 정상화로reporter=destination메트릭 확보.
- Prometheus 실측(보정 쿼리): 지연 slow_ratio = be/fe 각 series 산출(0 = 100% fast), 가용성 error_ratio = be/fe 각 0(= 100% avail). 기존엔 0 series(No data).
- 트래픽이 있으면 SLO 패널이 정상 수치 표시. 지연 번레이트 알림도 평가 가능 상태로 복구.
-
histogram
le라벨은 정수가 아니라 float 문자열(500.0)일 수 있다. 버킷 셀렉터는count by (le)(...)로 실제 라벨을 먼저 확인하고 쓴다. -
비율 메트릭은 분자가 빌 때 No data가 된다. SLI는
or 0 * <denominator>로 zero-fill해 "데이터 없음"과 "0%"를 구분한다. - 네이티브 사이드카는
initContainers에 있으므로spec.containers만 보고 주입 여부를 판단하지 말 것. - SLO/번레이트 대시보드는 트래픽이 0이면 본질적으로 비어 보인다(단일 사용자 idle).
- 이슈 #534, PR #535
- Observability (Wiki) §11 SLO