Skip to content

ELOG 008 s3 request cost

wcorn edited this page Aug 9, 2026 · 2 revisions

ELOG-008: AWS 비용이 S3 "요청료"로 새던 문제

항목 내용
분류 💰 비용 최적화
날짜 2026-06-15
영역 Infra
관련 이슈/PR #447, #457, #467
상태 완화 → 후속 ELOG-027에서 마무리

후속: 여기 조치 후에도 청구가 2달째 변하지 않았다. caching bucket은 실제로 효과가 있었으나(store-gateway GET 108k→1.5k/day) 그 뒤에 가려 있던 thanos-compactor가 자리를 물려받았고, 별개로 Loki retention이 한 번도 동작하지 않고 있었다. 전말은 ELOG-027.

1. 상황 (Before)

AWS 비용이 한 달 ~$15(2만원)로 과도하게 느껴짐. 전액 S3.

2. 원인 분석

Cost Explorer 분해: 저장 용량이 아니라 요청(request) 횟수가 ~88%. 월 ~1,000만 요청. per-bucket request metrics를 며칠 켜서 측정 → 풀데이(2026-06-08):

버킷 일 요청 비중
thanos-metrics 110,744 (GET 108k) 63%
longhorn-backup 41,221 (LIST) 23%
loki-logs 15,606 9%
tempo-traces 2,849 2%

온프레미스 관측성(Thanos store-gateway 블록 재조회)·백업(Longhorn 폴링)이 24h S3를 두드린 게 원인. 저장료는 ~$1.5뿐.

3. 조치

  • Longhorn pollInterval 5m → 0(단일 클러스터는 폴링 가치 0). 폴링 LIST 제거.
  • Thanos caching bucket(memcached) — 메타/청크 subrange를 memcached에 캐싱해 store-gateway의 S3 GET 대폭 감축(공식 권장).
  • 진단용 request metrics는 확인 후 비활성화.

4. 결과 (After)

Longhorn 폴링 비활성화로 Tier1 요청 ~22%↓(일 77k→60k). Thanos caching bucket 배포 후 GET 감소는 캐시 워밍업 후 측정(모니터링 중). 목표: 관측성 요청 대부분 제거.

5. 교훈 / 후속

  • S3 비용은 보통 용량이 아니라 요청료 — Cost Explorer는 usage type별로 봐야 한다.
  • 결정: Longhorn 백업은 오프사이트라 AWS S3 유지, 관측성은 caching bucket으로 S3 유지(MinIO 이전 대신 — 단일노드 MinIO SPOF·신뢰성 회피).
  • request metrics 자체도 소액 과금 — 진단 후 끈다.

참고

Clone this wiki locally