Skip to content

Backup Recovery

wcorn edited this page Aug 31, 2026 · 6 revisions

백업·복구 전략

orino는 단일 사용자 서비스지만 학습 기록·목표·복습 이력 등 잃으면 회복 불가능한 데이터를 다룬다. 본 문서는 데이터 보호 전략과 장애 시 복구 절차를 정의한다.

1. 보호 대상

데이터 위치 중요도 회복 가능성
MySQL 데이터 orino DB (Longhorn PV) 치명 불가
Redis 데이터 Redis 인메모리 낮음 재로그인으로 복구
관측성 데이터 (Loki/Tempo) AWS S3 (ap-northeast-2) 낮음 재수집 불가하지만 운영 영향 적음
MinIO 애플리케이션 데이터 MinIO PV (Longhorn) 중 애플리케이션 용도, Phase 별로 결정
SealedSecret 암호화 키 sealed-secrets controller 치명 분실 시 모든 시크릿 재발급
Git 저장소 GitHub 낮음 GitHub가 관리

핵심 보호 대상: MySQL 데이터 + SealedSecret 키

2. 보호 수준 목표

지표 목표 값 정의
RPO (Recovery Point Objective) 24시간 최대 24시간치 데이터 손실 허용
RTO (Recovery Time Objective) 4시간 장애 발생 후 4시간 내 복구
백업 보관 기간 30일 일일 백업 30일 롤링

단일 사용자 서비스임을 고려한 현실적 목표. 장애 빈도가 낮으므로 완전 자동화보다 명확한 복구 절차 중시.

3. 현재 방어 계층

3.1 Longhorn 복제 (1차 방어)

  • defaultReplicaCount: 2 — 모든 PV가 2개 노드에 복제됨
  • 단일 노드 장애 시 자동 페일오버
  • 한계: 노드 전체 소실(디스크 물리 고장)이나 데이터 오염(논리 오류)은 복제본도 함께 오염됨

3.2 Git 선언적 인프라

  • 모든 인프라 정의가 Git에 있음 (ArgoCD가 재생성 가능)
  • Secret은 SealedSecret으로 암호화되어 Git에 있음
  • 한계: sealed-secrets controller의 master key가 분실되면 복호화 불가

4. 백업 전략 (구축 필요)

4.1 저장소

백업 저장소 = AWS S3 (ap-northeast-2)

속성 값
버킷 orino-mysql-backup (신규 생성 필요)
리전 ap-northeast-2 (기존 관측성 버킷과 동일)
Lifecycle rule 30일 후 자동 삭제
Credential 신규 IAM 사용자 또는 기존 관측성 credential 재사용

왜 AWS S3인가:

  • 이미 Loki/Tempo가 AWS S3를 사용 중 (관측성 credential 재사용 가능)
  • 클러스터 외부에 있어 오프사이트 백업 요건 충족 (클러스터 전체 장애 시에도 안전)
  • S3 lifecycle rule로 보관 기간 자동 관리
  • 99.999999999% durability

MinIO는 백업 저장소로 사용하지 않음: MinIO는 애플리케이션 오브젝트 저장 용도로 예약. 클러스터 내부에 있어 오프사이트 요건 미충족.

4.2 MySQL 논리 백업 — mysqldump CronJob

주기: 매일 오전 4시 (KST), 전체 DB 덤프 → AWS S3 업로드

구현 방식:

  • K8s CronJob으로 mysql:8.4.4 이미지에서 mysqldump --single-transaction --routines --triggers 실행
  • 결과를 gzip 압축 후 aws s3 cp로 업로드
  • S3 경로: s3://orino-mysql-backup/{YYYY-MM-DD}.sql.gz
  • 30일 이상 된 파일은 S3 lifecycle rule로 자동 삭제

백업 파일 구조:

s3://orino-mysql-backup/
├── 2026-04-06.sql.gz
├── 2026-04-07.sql.gz
└── ...

왜 mysqldump인가:

  • MySQL 공식 권장 도구, 논리 백업으로 이식성·가독성 확보
  • --single-transaction으로 InnoDB 일관성 보장 (락 없이)
  • 단일 사용자 규모에서 덤프 시간·용량 모두 적정
  • 데이터 규모 커지면 xtrabackup으로 업그레이드 경로 명확

4.3 SealedSecret master key 백업

sealed-secrets controller의 master key가 분실되면 Git에 저장된 모든 SealedSecret을 복호화할 수 없어 모든 시크릿(DB·JWT·AWS·Discord·…)을 재발급해야 한다. master key는 GitHub Wiki / Git 저장소에 절대 저장하지 않는다.

4.3.1 key 동작 모델

  • sealed-secrets controller는 kube-system 네임스페이스에 RSA 키 쌍을 secret으로 보관한다.
  • secret은 라벨 sealedsecrets.bitnami.com/sealed-secrets-key로 식별된다. controller는 가장 최근 key로 새 SealedSecret을 암호화하고, 과거 key들은 그대로 보관하여 기존 SealedSecret 복호화에 계속 사용한다.
  • 백업 시 라벨된 모든 secret을 함께 백업해야 과거 SealedSecret 복호화도 보장된다.

key rotation 비활성화 (#316): 기본값은 30일마다 새 key 자동 생성이지만, 본 클러스터는 keyrenewperiod: "0"(infra/helm/sealed-secrets/values.yaml)으로 자동 회전을 끈다. 이유는 회전이 켜져 있으면 새 key로 암호화된 SealedSecret을 이전 백업으로 복원할 수 없어 백업이 계속 stale해지기 때문이다 — 단일 운영자 클러스터에서는 key를 고정하고 한 번만 백업하는 편이 단순하고 "백업은 있는데 복호화 불능" 사고를 막는다. 비활성화 시점에 존재하던 key들(생성: 2026-03-26 / 04-25 / 05-25, 총 3개)은 그대로 유지되어 과거 SealedSecret 복호화도 보장된다.

4.3.2 백업 주기

  • key 회전을 껐으므로 최초 1회 백업이면 영구히 유효하다. 회전마다 재백업하거나 신규 key를 감지하는 모니터링은 불필요하다.
  • 단, 향후 keyrenewperiod를 다시 켜거나 수동으로 key를 회전/재생성하면 그 직후 재백업한다.

4.3.3 추출 절차

note1(클러스터 노드)에서 실행한다.

# 라벨된 모든 master key를 한 파일로 추출 (tls.crt + tls.key 포함)
ssh note1 "kubectl get secret -n kube-system \
  -l sealedsecrets.bitnami.com/sealed-secrets-key \
  -o yaml" > ~/orino-sealed-secrets-master-backup.yaml
chmod 600 ~/orino-sealed-secrets-master-backup.yaml

# 검증 — Secret(=key) 개수, tls.key/tls.crt 개수가 일치해야 함
grep -c 'kind: Secret' ~/orino-sealed-secrets-master-backup.yaml   # 현재 3
grep -c 'tls.key:'     ~/orino-sealed-secrets-master-backup.yaml   # 현재 3

추출 결과는 평문 RSA 개인키를 포함하므로 다음 규칙을 지킨다.

  • Slack·메일·Git·.secrets·Wiki 등에 절대 붙여넣지 말 것
  • 작업 중 화면 공유 시 전체 화면 노출 금지
  • 파일 권한은 600으로 제한

4.3.4 저장 — 오프라인 보관

추출 파일은 클러스터 외부에 보관한다(Git/Wiki 절대 금지).

  • 현재 운용: 운영자 로컬 머신에 1부 보관 (~/orino-sealed-secrets-master-backup.yaml, 권한 600).
  • ⚠️ 단일 사본 리스크: 보관처가 운영자 머신 1곳뿐이면 그 머신이 손상될 때 백업도 함께 사라진다. 가용하면 외부 비밀 저장소(예: 1Password) 또는 다른 오프라인 매체에 1부를 추가 보관하는 것을 권장한다.

4.3.5 복원 절차 (재해 복구)

새 클러스터 또는 controller 재설치 후 SealedSecret 복호화를 재개하려면 백업한 master key를 import한다.

# 1. 백업 파일을 안전한 머신에 확보
# 2. 새 클러스터에 sealed-secrets controller 먼저 설치 (ArgoCD root-app 동기화 시 자동)
# 3. 백업한 key import (자동 생성된 신규 key가 있어도 그대로 두고 추가)
kubectl apply -f orino-sealed-secrets-master-backup.yaml

# 4. controller가 import한 key를 인식하도록 재시작
kubectl rollout restart deploy -n kube-system sealed-secrets

# 5. 복호화 검증 — 임의 SealedSecret이 정상 unseal 되는지 확인
kubectl get sealedsecret -A
kubectl get secret mysql-secret -n orino -o jsonpath='{.data.MYSQL_USER}' | base64 -d
# → 정상 평문 출력되면 OK

4.3.6 복원 리허설

  • 임시 클러스터(kind / minikube)에서 다음을 수행하여 백업이 실제로 복원 가능한지 검증한다:
    1. sealed-secrets controller 설치
    2. 백업 파일로부터 master key import + controller 재시작
    3. 운영에서 가져온 임의 SealedSecret이 unseal 되는지 검증
  • 결과를 wiki §6 "검증 정책"에 기록

5. 복구 절차

5.1 MySQL 데이터 복구 (논리 오류 / 실수 삭제)

가장 빈번한 시나리오. 최근 데이터 손실은 있지만 물리 장애는 아님.

1. 장애 원인 파악·문제 데이터 확인
2. 서비스 임시 중단 (ArgoCD 앱 일시 정지)
3. AWS S3에서 직전 백업 다운로드
   aws s3 cp s3://orino-mysql-backup/{date}.sql.gz .
4. gunzip 후 MySQL에 임포트
   gunzip -c {date}.sql.gz | mysql -h <host> -u <user> -p orino
5. 데이터 정합성 확인
6. 서비스 재개

5.2 MySQL PV 손상 (Longhorn 볼륨 장애)

1. MySQL StatefulSet scale to 0
2. Longhorn UI에서 PV 상태 확인
   - Degraded: replica 자동 재구성 대기 (대부분 자동 복구)
   - Faulted: 복제본 모두 소실 → 백업 복원 필요
3. Faulted 시: 새 PVC 생성 → StatefulSet scale to 1 → 빈 DB 생성됨
4. S3 최근 백업에서 임포트 (§5.1 절차)
5. 동작 확인

5.3 클러스터 전체 장애

드문 시나리오. 새 클러스터를 구축하고 데이터 복구.

1. K8s 클러스터 재구축 (노드·Longhorn 설치)
2. ArgoCD 설치, root-app 적용 → 모든 애플리케이션 재배포
3. SealedSecret master key 복원 — §4.3.5 절차로 1Password 백업 import
4. ArgoCD 재동기화 → 모든 Secret 복호화 성공 확인
5. AWS S3 → MySQL 백업 파일 임포트
6. DNS 확인(Route53 wildcard A → 집 공인 IP) + 공유기 443 포워딩·MetalLB VIP·cert-manager 인증서 재확인 (집 회선 직결, ELOG-009)
7. 동작 검증

예상 소요: 2~4시간 (숙련 시). RTO 4시간 내 달성 가능하도록 절차를 숙지한다.

⚠️ 이 숫자는 아직 재본 적이 없다. 절차를 읽고 어림한 값이고, 실제 복구 훈련(§6.1)을 한 번도 돌리지 않았다. 「백업이 있다」와 「복구된다」는 다른 말이다 — 재보기 전까지 RTO 4시간은 목표이지 사실이 아니다.

6. 검증 정책

6.1 복구 훈련 — 아직 한 번도 안 돌렸다 (2026-09-01)

정례화를 추진하던 이슈(#317)는 닫았다. 시나리오 3종은 이미 §5.1~5.3에 적혀 있고, 남은 것은 실제로 한 번 돌려 보는 일뿐이라 이슈로 열어 두어도 코드로 앞당길 수 없다. 대신 없어지면 안 되는 것을 여기 남긴다.

상태
시나리오 3종 (논리 오류 · PV 손상 · 클러스터 전체) ✅ §5.1 · §5.2 · §5.3
주기 결정 ✅ 분기 1회, 각 분기 첫 달 말
최초 훈련 실행 ❌ 미실행
훈련 결과 기록 (소요 시간 · 막힌 지점) ❌ 실행 후 Engineering Log에 ELOG로
RTO 4시간 달성 여부 검증 ❌ 미검증 — §5.3의 「2~4시간」은 어림값이다

최초 훈련은 §5.1(MySQL 논리 복구)로 한다. 가장 빈번한 시나리오이고, 임시 DB에 복원하는 것이라 운영 데이터를 건드리지 않는다.

돌릴 때 볼 것:

  • S3에서 받은 덤프가 실제로 열리는가 — CronJob이 성공을 보고해도 파일이 비어 있을 수 있다(ELOG-006이 그 사고였다)
  • 한글이 안 깨지는가 — 임포트 시 --default-character-set=utf8mb4
  • 시작부터 데이터 열람까지 실제 몇 분 걸리는가 → 이 값이 RTO의 근거가 된다

백업이 있다는 것과 복구된다는 것은 다른 말이다. 이 표에 ❌가 남아 있는 동안 §2의 RTO는 목표이지 보증이 아니다.

6.2 상시 검증

  • MySQL 복구 훈련: 분기 1회 임시 DB에 최근 백업 복원 → 데이터 열람 확인 (위 6.1)
  • 백업 성공 모니터링: CronJob 실패 시 Alertmanager로 알림 (PrometheusRule MysqlBackupFailed, MysqlBackupNotScheduled)
  • 백업 크기 변화 추적: 갑작스런 증감은 이상 신호
  • SealedSecret master key 복원 리허설: 분기 1회 임시 클러스터에서 §4.3.6 수행
  • SealedSecret key rotation 알림: PrometheusRule SealedSecretsKeyRotated — 신규 master key 생성 감지 시 1Password 갱신 트리거

7. 구축 체크리스트

백업 전략 구현 시 수행할 작업. Issue로 분리하여 관리.

  • AWS S3 버킷 orino-mysql-backup 생성 + 30일 lifecycle rule 적용 (Terraform)
  • 백업용 IAM 사용자·Access Key 발급 (최소 권한: 해당 버킷 get/put/list/delete)
  • infra/helm/mysql-backup/ Helm chart 작성 (CronJob + SealedSecret)
  • MySQL 백업 CronJob 실패 Alertmanager rule 추가
  • SealedSecret master key 추출/저장/복원 절차 문서화 (§4.3)
  • 1Password에 master key 최초 백업
  • master key 복원 리허설 1회
  • PrometheusRule SealedSecretsKeyRotated alert 추가
  • 분기 복구 훈련 일정·시나리오 수립 (§6.1) — 최초 실행은 아직이다(#317 닫음, 추적은 §6.1 표)

8. 관련 문서

Clone this wiki locally