Skip to content

Success Metrics

wcorn edited this page Apr 5, 2026 · 1 revision

성공 지표

orino는 단일 사용자 서비스이므로 전통적 KPI(DAU, retention 등)는 의미가 없다. 대신 "내가 실제로 쓰고 있는가" 와 "플랫폼이 건강하게 오래 동작하는가" 를 본다.

1. 원칙

원칙 설명
실사용 추적 만든 기능을 내가 실제로 사용하는지 정직하게 관찰
건강성 우선 화려한 지표보다 장애 빈도·복구 속도가 실질적 성공 척도
측정 자동화 수동 집계 금지. Grafana/Loki에서 쿼리 가능해야 함
분기 회고 분기마다 지표 검토 → 계속할지/버릴지 결정

2. Tier 1: 플랫폼 건강성

이미 관측성 스택에 구축됨. 별도 작업 불필요.

지표 목표 소스 참조
가용성 (uptime) 99.0% (월 7시간 이내 다운) Istio 메트릭 Observability §11
API p95 latency < 500ms Istio/BE 메트릭 Observability §11
에러율 (5xx) < 1% Istio/BE 메트릭 Observability §11
배포 성공률 100% (실패 시 즉시 롤백) GitHub Actions Release-Management

3. Tier 2: 모듈별 실사용

모듈이 의도대로 쓰이는지 확인. 지표가 낮으면 기능 폐기 또는 재설계 신호.

3.1 Study Planner (Phase 3 구현 후)

지표 목표 측정 방법
주간 블록 완료율 ≥ 70% 대시보드 이번 주 완료 블록 / 총 블록
복습 이행률 ≥ 80% 대시보드 reviewCompletionRate
스트릭 유지 일수 연속 14일 이상 대시보드 streaks.overall.currentCount
주간 활성 요일 수 ≥ 5일/주 Loki: 요일별 block-complete 이벤트 카운트

저하 신호:

  • 블록 완료율 30% 미만 3주 지속 → 스케줄링 엔진이 비현실적 배치를 하고 있음 (설계 문제)
  • 복습 이행률 50% 미만 → 복습 주기 설정이 과도함
  • 스트릭 끊김 후 2주 이상 재시작 없음 → 플랫폼 이탈

3.2 Tools

지표 목표 측정 방법
도구별 주간 사용 세션 ≥ 3회/주 (활성 도구 기준) Faro: /tools/{tool} 페이지뷰
미사용 도구 식별 4주 연속 0회 사용 = 재검토 Faro: 페이지뷰 0건

판단:

  • 4주간 안 쓰면 도구 폐기 or 재설계
  • 사용 많으면 고도화 (프리셋 확장, BE 동기화 등)

3.3 Auth

지표 목표
로그인 실패율 0% (단일 사용자, 자기 계정)
Token refresh 성공률 ≥ 99%

4. Tier 3: 운영 효율성

시간 투입 대비 효과를 추적.

지표 목표 측정 방법
장애 발생 빈도 월 1건 이하 Alertmanager critical 알림 집계
MTTR (평균 복구 시간) < 30분 (critical) Alertmanager resolve 시각 - fire 시각
PR 머지까지 소요 시간 < 1일 GitHub Actions 메트릭
테스트 커버리지 BE ≥ 70% / FE ≥ 60% JaCoCo / Vitest coverage

5. 측정 대시보드

Grafana에 "orino 성공 지표" 대시보드 1개 신설 (향후 작업).

구성 제안:

  • 상단: Tier 1 건강성 (SLO 상태)
  • 중단: Tier 2 모듈 실사용 (주/월 단위 트렌드)
  • 하단: Tier 3 운영 효율 (MTTR, 장애 빈도)

6. 분기 회고

매 분기 말(3/6/9/12월 말) 회고 수행.

회고 포맷:

## {YYYY-Q{n}} 회고
### 유지
- Tier별로 목표 달성한 지표
### 개선
- 목표 미달 지표 + 원인 분석
### 폐기 검토
- 4주 이상 미사용 모듈/기능
### 다음 분기 초점
- 우선순위 상위 3개

7. 범위 외

다음 지표는 의도적으로 추적하지 않음.

  • 사용자 수, DAU/MAU (단일 사용자)
  • Funnel 전환율 (회원가입 없음)
  • 매출·ARPU (비상업)
  • NPS·CSAT (혼자 쓰므로)

8. 관련 문서

Clone this wiki locally