Repository navigation
ELOG 006 mysql backup zero
wcorn edited this page Jun 15, 2026
·
1 revision
| 항목 | 내용 |
|---|---|
| 분류 | 🔧 트러블슈팅 |
| 날짜 | 2026-06-15 |
| 영역 | Infra / DB |
| 관련 이슈/PR | #314, #448, #449, #454 |
| 상태 | 해결 |
MySQL 백업 시스템(Helm chart + ArgoCD app + S3 버킷 + 30일 lifecycle + IAM)이 모두 배포돼 "구축 완료"처럼 보였으나, orino-mysql-backup 버킷이 완전히 비어 있었다(객체 0개). 매일 04:00 CronJob이 단 한 번도 성공한 적이 없었다.
세 겹의 원인이 순차로 드러났다.
-
SealedSecret 부재: CronJob이 참조하는
mysql-backup-secret(AWS 자격증명)이 클러스터에 없었다. 차트에 SealedSecret 템플릿 자체가 누락 → 파드가 31일간CreateContainerConfigError,concurrencyPolicy: Forbid로 이후 모든 스케줄이 차단됨. -
런타임 설치 실패: 스크립트가
mysql:8.4.4(Oracle Linux 9)에서apt-get으로 awscli를 설치 — OL9엔 apt 없음(+ 노드 inotify 고갈, ELOG-007 참조). -
mysqldump 권한: 앱 유저
orino_app에PROCESS권한이 없어 tablespace 덤프에서Access denied.
- SealedSecret(
mysql-backup-secret) 추가, mysql 차트로 통합. - 런타임 설치 제거 → 2-컨테이너: initContainer
mysql:8.4의 진짜mysqldump --no-tablespaces(PROCESS 불필요) → 공유 emptyDir →amazon/aws-cli컨테이너가 S3 업로드. 둘 다 prebuilt 이미지.
CronJob 수동 트리거로 s3://orino-mysql-backup/orino-<ts>.sql.gz 생성 확인. 다운로드 검증: gzip 무결성 OK, 7개 테이블 + 데이터 + "Dump completed" 마커 → 복원 가능한 완전한 백업. 매일 04:00 자동, 30일 보존.
- "배포됨"과 "동작함"은 다르다 — 백업은 실제 산출물(S3 객체)과 복원 가능성까지 확인해야 한다.
- 컨테이너에서 런타임 설치하지 말 것 → 공식 prebuilt 이미지 조합. ([ELOG-007] 참조)
- 후속: 복구 리허설(#317).
- 관련: ELOG-007(같은 시기 inotify), Backup-Recovery