Repository navigation
Backup Recovery
orino는 단일 사용자 서비스지만 학습 기록·목표·복습 이력 등 잃으면 회복 불가능한 데이터를 다룬다. 본 문서는 데이터 보호 전략과 장애 시 복구 절차를 정의한다.
| 데이터 | 위치 | 중요도 | 회복 가능성 |
|---|---|---|---|
| MySQL 데이터 |
orino DB (Longhorn PV) |
치명 | 불가 |
| Redis 데이터 | Redis 인메모리 | 낮음 | 재로그인으로 복구 |
| 관측성 데이터 (Loki/Tempo) | AWS S3 (ap-northeast-2) | 낮음 | 재수집 불가하지만 운영 영향 적음 |
| MinIO 애플리케이션 데이터 | MinIO PV (Longhorn) | 중 | 애플리케이션 용도, Phase 별로 결정 |
| SealedSecret 암호화 키 |
sealed-secrets controller |
치명 | 분실 시 모든 시크릿 재발급 |
| Git 저장소 | GitHub | 낮음 | GitHub가 관리 |
핵심 보호 대상: MySQL 데이터 + SealedSecret 키
| 지표 | 목표 값 | 정의 |
|---|---|---|
| RPO (Recovery Point Objective) | 24시간 | 최대 24시간치 데이터 손실 허용 |
| RTO (Recovery Time Objective) | 4시간 | 장애 발생 후 4시간 내 복구 |
| 백업 보관 기간 | 30일 | 일일 백업 30일 롤링 |
단일 사용자 서비스임을 고려한 현실적 목표. 장애 빈도가 낮으므로 완전 자동화보다 명확한 복구 절차 중시.
-
defaultReplicaCount: 2— 모든 PV가 2개 노드에 복제됨 - 단일 노드 장애 시 자동 페일오버
- 한계: 노드 전체 소실(디스크 물리 고장)이나 데이터 오염(논리 오류)은 복제본도 함께 오염됨
- 모든 인프라 정의가 Git에 있음 (ArgoCD가 재생성 가능)
- Secret은 SealedSecret으로 암호화되어 Git에 있음
-
한계:
sealed-secretscontroller의 master key가 분실되면 복호화 불가
백업 저장소 = AWS S3 (ap-northeast-2)
| 속성 | 값 |
|---|---|
| 버킷 |
orino-mysql-backup (신규 생성 필요) |
| 리전 | ap-northeast-2 (기존 관측성 버킷과 동일) |
| Lifecycle rule | 30일 후 자동 삭제 |
| Credential | 신규 IAM 사용자 또는 기존 관측성 credential 재사용 |
왜 AWS S3인가:
- 이미 Loki/Tempo가 AWS S3를 사용 중 (관측성 credential 재사용 가능)
- 클러스터 외부에 있어 오프사이트 백업 요건 충족 (클러스터 전체 장애 시에도 안전)
- S3 lifecycle rule로 보관 기간 자동 관리
- 99.999999999% durability
MinIO는 백업 저장소로 사용하지 않음: MinIO는 애플리케이션 오브젝트 저장 용도로 예약. 클러스터 내부에 있어 오프사이트 요건 미충족.
주기: 매일 오전 4시 (KST), 전체 DB 덤프 → AWS S3 업로드
구현 방식:
- K8s CronJob으로
mysql:8.4.4이미지에서mysqldump --single-transaction --routines --triggers실행 - 결과를 gzip 압축 후
aws s3 cp로 업로드 - S3 경로:
s3://orino-mysql-backup/{YYYY-MM-DD}.sql.gz - 30일 이상 된 파일은 S3 lifecycle rule로 자동 삭제
백업 파일 구조:
s3://orino-mysql-backup/
├── 2026-04-06.sql.gz
├── 2026-04-07.sql.gz
└── ...
왜 mysqldump인가:
- MySQL 공식 권장 도구, 논리 백업으로 이식성·가독성 확보
-
--single-transaction으로 InnoDB 일관성 보장 (락 없이) - 단일 사용자 규모에서 덤프 시간·용량 모두 적정
- 데이터 규모 커지면
xtrabackup으로 업그레이드 경로 명확
sealed-secrets controller의 master key가 분실되면 Git에 저장된 모든 SealedSecret을 복호화할 수 없어 모든 시크릿(DB·JWT·AWS·Discord·…)을 재발급해야 한다. master key는 GitHub Wiki / Git 저장소에 절대 저장하지 않는다.
-
sealed-secretscontroller는kube-system네임스페이스에 RSA 키 쌍을 secret으로 보관한다. - secret은 라벨
sealedsecrets.bitnami.com/sealed-secrets-key로 식별된다. controller는 가장 최근 key로 새 SealedSecret을 암호화하고, 과거 key들은 그대로 보관하여 기존 SealedSecret 복호화에 계속 사용한다. - 백업 시 라벨된 모든 secret을 함께 백업해야 과거 SealedSecret 복호화도 보장된다.
key rotation 비활성화 (#316): 기본값은 30일마다 새 key 자동 생성이지만, 본 클러스터는
keyrenewperiod: "0"(infra/helm/sealed-secrets/values.yaml)으로 자동 회전을 끈다. 이유는 회전이 켜져 있으면 새 key로 암호화된 SealedSecret을 이전 백업으로 복원할 수 없어 백업이 계속 stale해지기 때문이다 — 단일 운영자 클러스터에서는 key를 고정하고 한 번만 백업하는 편이 단순하고 "백업은 있는데 복호화 불능" 사고를 막는다. 비활성화 시점에 존재하던 key들(생성: 2026-03-26 / 04-25 / 05-25, 총 3개)은 그대로 유지되어 과거 SealedSecret 복호화도 보장된다.
- key 회전을 껐으므로 최초 1회 백업이면 영구히 유효하다. 회전마다 재백업하거나 신규 key를 감지하는 모니터링은 불필요하다.
- 단, 향후
keyrenewperiod를 다시 켜거나 수동으로 key를 회전/재생성하면 그 직후 재백업한다.
note1(클러스터 노드)에서 실행한다.
# 라벨된 모든 master key를 한 파일로 추출 (tls.crt + tls.key 포함)
ssh note1 "kubectl get secret -n kube-system \
-l sealedsecrets.bitnami.com/sealed-secrets-key \
-o yaml" > ~/orino-sealed-secrets-master-backup.yaml
chmod 600 ~/orino-sealed-secrets-master-backup.yaml
# 검증 — Secret(=key) 개수, tls.key/tls.crt 개수가 일치해야 함
grep -c 'kind: Secret' ~/orino-sealed-secrets-master-backup.yaml # 현재 3
grep -c 'tls.key:' ~/orino-sealed-secrets-master-backup.yaml # 현재 3추출 결과는 평문 RSA 개인키를 포함하므로 다음 규칙을 지킨다.
- Slack·메일·Git·
.secrets·Wiki 등에 절대 붙여넣지 말 것 - 작업 중 화면 공유 시 전체 화면 노출 금지
- 파일 권한은
600으로 제한
추출 파일은 클러스터 외부에 보관한다(Git/Wiki 절대 금지).
-
현재 운용: 운영자 로컬 머신에 1부 보관 (
~/orino-sealed-secrets-master-backup.yaml, 권한600). ⚠️ 단일 사본 리스크: 보관처가 운영자 머신 1곳뿐이면 그 머신이 손상될 때 백업도 함께 사라진다. 가용하면 외부 비밀 저장소(예: 1Password) 또는 다른 오프라인 매체에 1부를 추가 보관하는 것을 권장한다.
새 클러스터 또는 controller 재설치 후 SealedSecret 복호화를 재개하려면 백업한 master key를 import한다.
# 1. 백업 파일을 안전한 머신에 확보
# 2. 새 클러스터에 sealed-secrets controller 먼저 설치 (ArgoCD root-app 동기화 시 자동)
# 3. 백업한 key import (자동 생성된 신규 key가 있어도 그대로 두고 추가)
kubectl apply -f orino-sealed-secrets-master-backup.yaml
# 4. controller가 import한 key를 인식하도록 재시작
kubectl rollout restart deploy -n kube-system sealed-secrets
# 5. 복호화 검증 — 임의 SealedSecret이 정상 unseal 되는지 확인
kubectl get sealedsecret -A
kubectl get secret mysql-secret -n orino -o jsonpath='{.data.MYSQL_USER}' | base64 -d
# → 정상 평문 출력되면 OK- 임시 클러스터(kind / minikube)에서 다음을 수행하여 백업이 실제로 복원 가능한지 검증한다:
- sealed-secrets controller 설치
- 백업 파일로부터 master key import + controller 재시작
- 운영에서 가져온 임의 SealedSecret이 unseal 되는지 검증
- 결과를 wiki §6 "검증 정책"에 기록
가장 빈번한 시나리오. 최근 데이터 손실은 있지만 물리 장애는 아님.
1. 장애 원인 파악·문제 데이터 확인
2. 서비스 임시 중단 (ArgoCD 앱 일시 정지)
3. AWS S3에서 직전 백업 다운로드
aws s3 cp s3://orino-mysql-backup/{date}.sql.gz .
4. gunzip 후 MySQL에 임포트
gunzip -c {date}.sql.gz | mysql -h <host> -u <user> -p orino
5. 데이터 정합성 확인
6. 서비스 재개
1. MySQL StatefulSet scale to 0
2. Longhorn UI에서 PV 상태 확인
- Degraded: replica 자동 재구성 대기 (대부분 자동 복구)
- Faulted: 복제본 모두 소실 → 백업 복원 필요
3. Faulted 시: 새 PVC 생성 → StatefulSet scale to 1 → 빈 DB 생성됨
4. S3 최근 백업에서 임포트 (§5.1 절차)
5. 동작 확인
드문 시나리오. 새 클러스터를 구축하고 데이터 복구.
1. K8s 클러스터 재구축 (노드·Longhorn 설치)
2. ArgoCD 설치, root-app 적용 → 모든 애플리케이션 재배포
3. SealedSecret master key 복원 — §4.3.5 절차로 1Password 백업 import
4. ArgoCD 재동기화 → 모든 Secret 복호화 성공 확인
5. AWS S3 → MySQL 백업 파일 임포트
6. DNS 확인(Route53 wildcard A → 집 공인 IP) + 공유기 443 포워딩·MetalLB VIP·cert-manager 인증서 재확인 (집 회선 직결, ELOG-009)
7. 동작 검증
예상 소요: 2~4시간 (숙련 시). RTO 4시간 내 달성 가능하도록 절차를 숙지한다.
⚠️ 이 숫자는 아직 재본 적이 없다. 절차를 읽고 어림한 값이고, 실제 복구 훈련(§6.1)을 한 번도 돌리지 않았다. 「백업이 있다」와 「복구된다」는 다른 말이다 — 재보기 전까지 RTO 4시간은 목표이지 사실이 아니다.
정례화를 추진하던 이슈(#317)는 닫았다. 시나리오 3종은 이미 §5.1~5.3에 적혀 있고, 남은 것은 실제로 한 번 돌려 보는 일뿐이라 이슈로 열어 두어도 코드로 앞당길 수 없다. 대신 없어지면 안 되는 것을 여기 남긴다.
| 상태 | |
|---|---|
| 시나리오 3종 (논리 오류 · PV 손상 · 클러스터 전체) | ✅ §5.1 · §5.2 · §5.3 |
| 주기 결정 | ✅ 분기 1회, 각 분기 첫 달 말 |
| 최초 훈련 실행 | ❌ 미실행 |
| 훈련 결과 기록 (소요 시간 · 막힌 지점) | ❌ 실행 후 Engineering Log에 ELOG로 |
| RTO 4시간 달성 여부 검증 | ❌ 미검증 — §5.3의 「2~4시간」은 어림값이다 |
최초 훈련은 §5.1(MySQL 논리 복구)로 한다. 가장 빈번한 시나리오이고, 임시 DB에 복원하는 것이라 운영 데이터를 건드리지 않는다.
돌릴 때 볼 것:
- S3에서 받은 덤프가 실제로 열리는가 — CronJob이 성공을 보고해도 파일이 비어 있을 수 있다(ELOG-006이 그 사고였다)
- 한글이 안 깨지는가 — 임포트 시
--default-character-set=utf8mb4 - 시작부터 데이터 열람까지 실제 몇 분 걸리는가 → 이 값이 RTO의 근거가 된다
백업이 있다는 것과 복구된다는 것은 다른 말이다. 이 표에 ❌가 남아 있는 동안 §2의 RTO는 목표이지 보증이 아니다.
- MySQL 복구 훈련: 분기 1회 임시 DB에 최근 백업 복원 → 데이터 열람 확인 (위 6.1)
-
백업 성공 모니터링: CronJob 실패 시 Alertmanager로 알림 (PrometheusRule
MysqlBackupFailed,MysqlBackupNotScheduled) - 백업 크기 변화 추적: 갑작스런 증감은 이상 신호
- SealedSecret master key 복원 리허설: 분기 1회 임시 클러스터에서 §4.3.6 수행
-
SealedSecret key rotation 알림: PrometheusRule
SealedSecretsKeyRotated— 신규 master key 생성 감지 시 1Password 갱신 트리거
백업 전략 구현 시 수행할 작업. Issue로 분리하여 관리.
- AWS S3 버킷
orino-mysql-backup생성 + 30일 lifecycle rule 적용 (Terraform) - 백업용 IAM 사용자·Access Key 발급 (최소 권한: 해당 버킷 get/put/list/delete)
-
infra/helm/mysql-backup/Helm chart 작성 (CronJob + SealedSecret) - MySQL 백업 CronJob 실패 Alertmanager rule 추가
- SealedSecret master key 추출/저장/복원 절차 문서화 (§4.3)
- 1Password에 master key 최초 백업
- master key 복원 리허설 1회
- PrometheusRule
SealedSecretsKeyRotatedalert 추가 - 분기 복구 훈련 일정·시나리오 수립 (§6.1) — 최초 실행은 아직이다(#317 닫음, 추적은 §6.1 표)
- 인프라 아키텍처 §8 스토리지
- 관측성 (Observability) §10 Alerting
- 장애 대응 런북