Skip to content

ELOG 006 mysql backup zero

wcorn edited this page Jun 15, 2026 · 1 revision

ELOG-006: MySQL 백업이 31일간 0건이었던 문제

항목 내용
분류 🔧 트러블슈팅
날짜 2026-06-15
영역 Infra / DB
관련 이슈/PR #314, #448, #449, #454
상태 해결

1. 상황 (Before)

MySQL 백업 시스템(Helm chart + ArgoCD app + S3 버킷 + 30일 lifecycle + IAM)이 모두 배포돼 "구축 완료"처럼 보였으나, orino-mysql-backup 버킷이 완전히 비어 있었다(객체 0개). 매일 04:00 CronJob이 단 한 번도 성공한 적이 없었다.

2. 원인 분석

세 겹의 원인이 순차로 드러났다.

  1. SealedSecret 부재: CronJob이 참조하는 mysql-backup-secret(AWS 자격증명)이 클러스터에 없었다. 차트에 SealedSecret 템플릿 자체가 누락 → 파드가 31일간 CreateContainerConfigError, concurrencyPolicy: Forbid로 이후 모든 스케줄이 차단됨.
  2. 런타임 설치 실패: 스크립트가 mysql:8.4.4(Oracle Linux 9)에서 apt-get으로 awscli를 설치 — OL9엔 apt 없음(+ 노드 inotify 고갈, ELOG-007 참조).
  3. mysqldump 권한: 앱 유저 orino_app에 PROCESS 권한이 없어 tablespace 덤프에서 Access denied.

3. 조치

  • SealedSecret(mysql-backup-secret) 추가, mysql 차트로 통합.
  • 런타임 설치 제거 → 2-컨테이너: initContainer mysql:8.4의 진짜 mysqldump --no-tablespaces(PROCESS 불필요) → 공유 emptyDir → amazon/aws-cli 컨테이너가 S3 업로드. 둘 다 prebuilt 이미지.

4. 결과 (After)

CronJob 수동 트리거로 s3://orino-mysql-backup/orino-<ts>.sql.gz 생성 확인. 다운로드 검증: gzip 무결성 OK, 7개 테이블 + 데이터 + "Dump completed" 마커 → 복원 가능한 완전한 백업. 매일 04:00 자동, 30일 보존.

5. 교훈 / 후속

  • "배포됨"과 "동작함"은 다르다 — 백업은 실제 산출물(S3 객체)과 복원 가능성까지 확인해야 한다.
  • 컨테이너에서 런타임 설치하지 말 것 → 공식 prebuilt 이미지 조합. ([ELOG-007] 참조)
  • 후속: 복구 리허설(#317).

참고

Clone this wiki locally