Repository navigation
ELOG 008 s3 request cost
wcorn edited this page Aug 9, 2026
·
2 revisions
| 항목 | 내용 |
|---|---|
| 분류 | 💰 비용 최적화 |
| 날짜 | 2026-06-15 |
| 영역 | Infra |
| 관련 이슈/PR | #447, #457, #467 |
| 상태 | 완화 → 후속 ELOG-027에서 마무리 |
후속: 여기 조치 후에도 청구가 2달째 변하지 않았다. caching bucket은 실제로 효과가 있었으나(store-gateway GET 108k→1.5k/day) 그 뒤에 가려 있던 thanos-compactor가 자리를 물려받았고, 별개로 Loki retention이 한 번도 동작하지 않고 있었다. 전말은 ELOG-027.
AWS 비용이 한 달 ~$15(2만원)로 과도하게 느껴짐. 전액 S3.
Cost Explorer 분해: 저장 용량이 아니라 요청(request) 횟수가 ~88%. 월 ~1,000만 요청. per-bucket request metrics를 며칠 켜서 측정 → 풀데이(2026-06-08):
| 버킷 | 일 요청 | 비중 |
|---|---|---|
| thanos-metrics | 110,744 (GET 108k) | 63% |
| longhorn-backup | 41,221 (LIST) | 23% |
| loki-logs | 15,606 | 9% |
| tempo-traces | 2,849 | 2% |
온프레미스 관측성(Thanos store-gateway 블록 재조회)·백업(Longhorn 폴링)이 24h S3를 두드린 게 원인. 저장료는 ~$1.5뿐.
-
Longhorn
pollInterval5m → 0(단일 클러스터는 폴링 가치 0). 폴링 LIST 제거. - Thanos caching bucket(memcached) — 메타/청크 subrange를 memcached에 캐싱해 store-gateway의 S3 GET 대폭 감축(공식 권장).
- 진단용 request metrics는 확인 후 비활성화.
Longhorn 폴링 비활성화로 Tier1 요청 ~22%↓(일 77k→60k). Thanos caching bucket 배포 후 GET 감소는 캐시 워밍업 후 측정(모니터링 중). 목표: 관측성 요청 대부분 제거.
- S3 비용은 보통 용량이 아니라 요청료 — Cost Explorer는 usage type별로 봐야 한다.
- 결정: Longhorn 백업은 오프사이트라 AWS S3 유지, 관측성은 caching bucket으로 S3 유지(MinIO 이전 대신 — 단일노드 MinIO SPOF·신뢰성 회피).
- request metrics 자체도 소액 과금 — 진단 후 끈다.
- 관련: Observability