Repository navigation
Success Metrics
wcorn edited this page Apr 5, 2026
·
1 revision
orino는 단일 사용자 서비스이므로 전통적 KPI(DAU, retention 등)는 의미가 없다. 대신 "내가 실제로 쓰고 있는가" 와 "플랫폼이 건강하게 오래 동작하는가" 를 본다.
| 원칙 | 설명 |
|---|---|
| 실사용 추적 | 만든 기능을 내가 실제로 사용하는지 정직하게 관찰 |
| 건강성 우선 | 화려한 지표보다 장애 빈도·복구 속도가 실질적 성공 척도 |
| 측정 자동화 | 수동 집계 금지. Grafana/Loki에서 쿼리 가능해야 함 |
| 분기 회고 | 분기마다 지표 검토 → 계속할지/버릴지 결정 |
이미 관측성 스택에 구축됨. 별도 작업 불필요.
| 지표 | 목표 | 소스 | 참조 |
|---|---|---|---|
| 가용성 (uptime) | 99.0% (월 7시간 이내 다운) | Istio 메트릭 | Observability §11 |
| API p95 latency | < 500ms | Istio/BE 메트릭 | Observability §11 |
| 에러율 (5xx) | < 1% | Istio/BE 메트릭 | Observability §11 |
| 배포 성공률 | 100% (실패 시 즉시 롤백) | GitHub Actions | Release-Management |
모듈이 의도대로 쓰이는지 확인. 지표가 낮으면 기능 폐기 또는 재설계 신호.
| 지표 | 목표 | 측정 방법 |
|---|---|---|
| 주간 블록 완료율 | ≥ 70% | 대시보드 이번 주 완료 블록 / 총 블록
|
| 복습 이행률 | ≥ 80% | 대시보드 reviewCompletionRate
|
| 스트릭 유지 일수 | 연속 14일 이상 | 대시보드 streaks.overall.currentCount
|
| 주간 활성 요일 수 | ≥ 5일/주 | Loki: 요일별 block-complete 이벤트 카운트 |
저하 신호:
- 블록 완료율 30% 미만 3주 지속 → 스케줄링 엔진이 비현실적 배치를 하고 있음 (설계 문제)
- 복습 이행률 50% 미만 → 복습 주기 설정이 과도함
- 스트릭 끊김 후 2주 이상 재시작 없음 → 플랫폼 이탈
| 지표 | 목표 | 측정 방법 |
|---|---|---|
| 도구별 주간 사용 세션 | ≥ 3회/주 (활성 도구 기준) | Faro: /tools/{tool} 페이지뷰 |
| 미사용 도구 식별 | 4주 연속 0회 사용 = 재검토 | Faro: 페이지뷰 0건 |
판단:
- 4주간 안 쓰면 도구 폐기 or 재설계
- 사용 많으면 고도화 (프리셋 확장, BE 동기화 등)
| 지표 | 목표 |
|---|---|
| 로그인 실패율 | 0% (단일 사용자, 자기 계정) |
| Token refresh 성공률 | ≥ 99% |
시간 투입 대비 효과를 추적.
| 지표 | 목표 | 측정 방법 |
|---|---|---|
| 장애 발생 빈도 | 월 1건 이하 | Alertmanager critical 알림 집계 |
| MTTR (평균 복구 시간) | < 30분 (critical) | Alertmanager resolve 시각 - fire 시각 |
| PR 머지까지 소요 시간 | < 1일 | GitHub Actions 메트릭 |
| 테스트 커버리지 | BE ≥ 70% / FE ≥ 60% | JaCoCo / Vitest coverage |
Grafana에 "orino 성공 지표" 대시보드 1개 신설 (향후 작업).
구성 제안:
- 상단: Tier 1 건강성 (SLO 상태)
- 중단: Tier 2 모듈 실사용 (주/월 단위 트렌드)
- 하단: Tier 3 운영 효율 (MTTR, 장애 빈도)
매 분기 말(3/6/9/12월 말) 회고 수행.
회고 포맷:
## {YYYY-Q{n}} 회고
### 유지
- Tier별로 목표 달성한 지표
### 개선
- 목표 미달 지표 + 원인 분석
### 폐기 검토
- 4주 이상 미사용 모듈/기능
### 다음 분기 초점
- 우선순위 상위 3개
다음 지표는 의도적으로 추적하지 않음.
- 사용자 수, DAU/MAU (단일 사용자)
- Funnel 전환율 (회원가입 없음)
- 매출·ARPU (비상업)
- NPS·CSAT (혼자 쓰므로)
- PRD
- 관측성 (Observability) §11 SLO
- 장애 대응 런북