Repository navigation
Engineering Log
wcorn edited this page Sep 19, 2026
·
31 revisions
트러블슈팅 · 성능 개선 · 비용 최적화 · 장애 대응 기록. 문제 → 원인 → 조치 → 결과가 있는 작업을 항목별 개별 페이지로 남긴다.
새 항목: 아래 리스트에 한 줄 추가 +
ELOG-NNN-<slug>개별 페이지 생성. 작성은 맨 아래 템플릿 참고.
- 🔧 트러블슈팅 — 장애/버그 원인 추적과 해결
- ⚡ 성능 개선 — 응답속도/처리량/리소스 최적화
- 💰 비용 최적화 — 인프라/클라우드 비용 절감
- 🚨 장애 대응 — 운영 중 발생한 인시던트 (상세는 Incident Runbook과 교차 참조)
| # | 날짜 | 분류 | 제목 | 한 줄 요약 |
|---|---|---|---|---|
| ELOG-036 | 2026-09 | 🔧 트러블슈팅 | minio가 limit 91%라는데 쓰는 건 102Mi |
ContainerMemoryNearLimit이 minio에서 계속 켜진 채 4시간마다 반복. cAdvisor로 쪼개니 usage 476Mi 중 rss 101 + cache 17 — 358Mi가 어느 지표에도 이름이 없었다. 컨테이너 안 memory.stat이 이름을 줬다: slab_reclaimable 356Mi(dentry·inode), anon 102Mi, oom 0. working set(= usage − inactive_file)은 회수 가능한 slab을 그대로 세므로, 커널이 limit에서 먼저 버릴 캐시를 「OOMKilled 위험」으로 불렀다. 5주간 working set 309→469Mi 직선 증가(하루 ~4.4Mi), rss는 103Mi로 평평, 데이터는 4.9MB — limit 상향은 100여 일 미룰 뿐이라 기각. 알림 식을 rss(anon) 기준으로 교체. Thanos 30일 재생: 기존 식 발동 = minio(오탐) 하나 → 새 식 0, mysql·memcached 판정은 그대로. 남은 한계는 shmem(메모리 tmpfs) 미포함 |
| ELOG-035 | 2026-09 | 🔧 트러블슈팅 | 가져오기가 늘 실패하는데 서버 로그엔 아무것도 없다 | 사용자 제보. 열 맞추기·미리 보기는 지나가는데 실행만 항상 「가져오지 못했어요.」. MdcLoggingFilter는 finally에서 찍으므로 예외로 끝난 요청도 남는데 /api/ledger/import/execute가 한 줄도 없었다 — 로그가 빈 것 자체가 앞단을 보라는 단서였다. 시각은 FE가 대신 줬다: preview 200(2.3s) 68초 뒤 GET 다섯 개가 한꺼번에 왔는데 그게 invalidateLedger 목록 그대로, 즉 onSettled가 돈 자국이다. 액세스 로그는 꺼져 있었지만 지표는 남아 있었다 — 게이트웨이 504 URX,UT 9→11, be 사이드카 response_code=0, DC 27→32(원 요청 1 + 재시도 2, 두 번). 원인은 VirtualService가 api.orino.dev 전 경로에 timeout: 10s/perTryTimeout: 3s/attempts: 2를 한 벌로 건 것. 파일을 다시 올려 파싱하고 insert하는 실행이 3초에 끝날 리 없어 3초마다 끊기고 두 번 재시도한 뒤 10초에 504. 게이트웨이가 포기해도 BE는 계속 일하므로 finally가 안 돌아 로그가 비었다. 되짚으니 analyze도 같은 자국(27건 = 파일 9장 x 3시도, 전부 10~14초 200) — 앱 로그의 200은 사용자가 받은 응답이 아니었다. 재시도가 부하를 3배로 만들어 HPA가 be를 1→3 파드로 늘리기까지. ledger_import_batch 0건으로 유실·중복 없음 확인했지만 그건 매번 커밋 전에 잘린 운. 조치는 /api/ledger/import/를 별도 라우트로 갈라 120초 + 재시도 끄기(실행은 멱등이 아니라 시도마다 배치가 생긴다), 나머지 라우트의 retryOn도 5xx,reset,connect-failure→connect-failure로 좁힘(비멱등 POST가 지나간다). corsPolicy는 라우트마다 붙는 값이라 앵커로 공유 — 빠뜨리면 프리플라이트가 죽는데 서버 로그엔 200만 남는다(같은 계열 함정). rate limit은 route마다 버킷이 붙어 상한이 두 배가 되지만([ELOG-014] 주석이 경고하던 그 일) 실측 꼭대기가 246이라 값은 두고 결과를 주석에 적어 「조용히」만 없앴다
|
| ELOG-034 | 2026-09 | 🔧 트러블슈팅 | E2E 로그를 덮던 프록시 에러 62줄 — 그리고 두 번의 헛짚음 | E2E 133개가 전부 통과하는데 로그는 http proxy error로 덮여 있었다(62줄, 그중 55줄이 /api/planner/reviews/summary 하나). vite dev는 /api를 8080으로 프록시하는데 CI엔 BE가 없다 — page.route로 막지 않은 요청만 새는 구조였고, 사이드바가 모든 화면에서 부르는 복습 요약을 30개 스펙 중 12개가 막지 않고 있었다. 스펙마다 mock을 채우면 새 스펙마다 반복되므로 공용 픽스처에 그물을 깔았는데 두 번 틀렸다. ① abort("connectionrefused")로 막자 랜딩 페이지부터 안 떠 116개가 깨졌다 — 앱이 보던 건 연결 거부가 아니라 vite가 대신 만들어 주던 500 text/plain이었다(config.js의 res.writeHead(500).end()로 확인). 실패의 존재가 아니라 모양이 같아야 했다. ② 500으로 바꿔도 그대로(117 failed) — 패턴 **/api/**가 dev가 URL로 서빙하는 앱 소스(/src/shared/api/client.ts)까지 삼켜 번들이 통째로 가로채였다. 이 함정은 auth.spec.ts 주석에 이미 적혀 있었다(같은 이유로 거기선 경로 술어를 쓴다) — 먼저 읽었으면 5분짜리 전체 실행 하나를 아꼈다. 술어로 바꾸니 131 passed/1 failed, 남은 하나는 그물이 만든 실패였다: 오프라인 스펙은 「망 끊김(세션 유지)」과 「서버 거절(로그아웃)」의 구분을 보는데 그물이 오프라인에서도 500을 주니 튕겼다 → 옵션 픽스처로 그 스펙만 opt-out. 결과 62줄→2줄, 133 passed 유지. 남은 2줄은 서비스 워커가 낸 요청이라 page.route가 닿지 않는다 — 못 없애는 잔여는 이유와 함께 남긴다 |
| ELOG-033 | 2026-09 | 🔧 트러블슈팅 | 통과하는데 에러가 가득한 빌드 로그 — 여섯 갈래를 전부 지우다 | BE CI는 초록인데 로그엔 경고·에러 126줄(Test and Checkstyle 스텝 371줄). 원인이 하나가 아니라 여섯이었다. (1) HHH000478 106줄은 create-drop이 셧다운 훅에서 날리는 drop이 이미 내려간 컨테이너를 만난 것 — JVM 셧다운 훅 사이엔 순서 보장이 없다. 컨테이너는 어차피 폐기되므로 create로. (2) CDS 경고는 워커 커맨드라인에 -Xbootclasspath가 없음을 확인하고 런타임 자가 부착(Mockito/ByteBuddy)으로 좁힘 → -Xshare:off. (3) JDK 25 네이티브 접근 예고 → --enable-native-access=ALL-UNNAMED. (4) Hikari 경고는 두 번 오진했다 — jdbc:tc: 드라이버 지목(메시지의 커넥션 타입만 바뀌고 경고 그대로), 이어 "유휴 커넥션이 도커 프록시에서 죽는다"로 보고 keepalive 투입(MySQL wait_timeout은 8시간으로 서버 결백 확인). 진짜 원인은 로그 패턴의 결핍이었다 — test 프로파일 패턴에 시각도 스레드도 없어 "종료 에러"로 읽었고, 넣자마자 [HikariPool-N:housekeeper]가 찍혔다: 풀이 닫히며 커넥션을 끊는 사이 같은 풀의 하우스키퍼가 그걸 검증하는 내부 경합. 고칠 자리가 없어 그 로거만 끔, 잘못 넣은 설정은 되돌림. (5) No appenders present·lettuce Cannot reconnect는 스프링이 로그백을 내린 뒤에 오는 로그 → logging.register-shutdown-hook: false. (6) 위치를 안 알려주던 Note: ... deprecated API는 -Xlint:deprecation으로 4곳 노출 — Testcontainers 2.x는 생성자가 아니라 클래스가 이사(containers→mysql). 결과 126줄→0, 스텝 로그 371→93줄. 곁들여 jdbc:tc:를 컨테이너 빈으로 통일해 종료를 「컨텍스트→JVM→컨테이너」 한 방향으로 |
| ELOG-033 | 2026-09 | ⚡ 성능 개선 | 일정 보드가 날씨를 기다리느라 1~2초 | 사용자 제보. 브라우저 실측 board 1781ms, 같이 나간 stays는 18ms — FE는 요청 하나를 기다릴 뿐이었다. 처음 잰 여행은 17ms로 멀쩡해 하마터면 접을 뻔했는데 그 도시엔 좌표가 없어 문제 경로를 안 탔다(실제 도시 검색으로 만든 여행은 전부 좌표가 있다). 좌표 있는 도시로 다시 재니 콜드 1도시 1236ms · 6도시 1920ms, 웜은 40BoardService가 캐시 미스 시 도시마다 순서대로 Open-Meteo를 동기 호출(1회 300read-timeout이 10초라 상한도 없던 것. 게다가 TTL 6시간이 만료되는 순간 값을 버려 6시간마다 처음 여는 사람이 전부 뒤집어썼다. 조치는 버리는 시점과 다시 묻는 시점을 가른 것(TTL 24h · 신선도 6h) — 만료돼도 옛 값을 즉시 주고 뒤에서 갱신, 캐시가 아예 없을 때만 800ms까지 기다리고 넘으면 날씨 없이 보드를 준다(받아 온 값은 캐시에 들어가 다음 열람이 따뜻하다). 도시별 조회는 가상 스레드로 동시에 던지고 마감시한은 전체에 하나([ELOG-018] 같은 처방), 같은 도시 갱신은 in-flight로 하나만. 도구 화면은 마감시한 없음 — 거기선 날씨가 본문이다. 콜드 1920→847ms (도시 수와 무관하게 상한), 만료 후 재방문 1~2초→20ms. 테스트는 횟수가 아니라 시간을 잰다 — 느린 스텁을 두고 벽시계로 상한을 단언 |
| ELOG-032 | 2026-09 | 🔧 트러블슈팅 | 테스트가 부르지도 않은 알림이 나갔다 |
./gradlew check 전체 실행에서 준비 알림 테스트가 한 번 실패하고 재현되지 않았다. 처음엔 「단언이 너무 빡빡하다」로 보고 좁혔는데 그건 오진이었다 — 그 수정은 이 결함을 전혀 막지 못한다. 포크 DB 공유·클래스 병렬·잔여 데이터를 차례로 지우고 남은 것은 @EnableScheduling이 OrinoApplication에 붙어 있다는 사실. @SpringBootTest가 그 클래스를 띄우므로 웹푸시 폴러(fixedDelay 30s)가 통합 테스트에서도 살아 돌고 있었다. 여행을 만들면 준비 알림이 곧바로 발송 대상이 되는데, 항목을 넣고 체크하기까지의 사이에 틱이 들어가면 「준비 3개 남았어요」가 먼저 나가고 테스트의 dispatchDue()는 빈손이 된다 — 30초에 한 번뿐인 창이라 재현이 안 됐던 것. 증명은 실험으로: dispatchDue()를 아무도 부르지 않는 임시 테스트가 45초 안에 발송을 관측하고 통과했다. 조치는 방아쇠만 프로필로 가르기(SchedulingConfig @Profile("!test")) — 여러 스케줄러가 테스트에서 빈을 직접 주입받아 본문을 호출하므로 빈까지 없애면 그 테스트들이 컨텍스트 로딩부터 깨진다. 같은 임시 테스트가 이제 실패하는 것으로 확인 후 삭제. 덤으로 매시 정각 cron 둘도 함께 닫혔다 |
| ELOG-014 | 2026-08 | 🔧 트러블슈팅 | rate limit이 한 번도 걸린 적이 없다 | vhost 이름 :80↔실제 :443 불일치로 HTTP_ROUTE 패치가 조용히 누락. 필터는 보이는데 토큰 버킷만 없었다. 실측(2xx 최대 246/분, 401 78%는 WP 스캐너) 후 100→600 |
| ELOG-031 | 2026-08 | ⚡ 성능 개선 | CI 9분 — 한 번도 채워진 적 없는 캐시와, 조합이 낳은 컨텍스트 6벌 |
ELOG-013으로 갈라 둔 test 잡이 다시 wall-clock을 독차지(9m07s, 그중 테스트 443s). 로그 두 줄이 첫 원인이었다 — cache-read-only: true + Gradle User Home cache not found. setup-gradle은 기본 브랜치에서만 캐시를 쓰는데 main에서 Gradle이 도는 워크플로우가 하나도 없었다(be-ci는 pull_request 전용, be-cd는 Docker 안에서 빌드) → 모든 PR이 배포판부터 새로 받는 중. 설정은 옳았고 쓰는 사람이 없었을 뿐이다. 실행 중 docker ps를 세니 redis 컨테이너가 포크당 9개 — RedisContainer가 @Bean이라 컨텍스트마다 새로 뜸(MySQL은 jdbc:tc:라 이미 JVM당 1개였고 Redis만 밖에 있었다). 그 숫자가 곧 컨텍스트 수라서 TRACE로 MergedContextConfiguration 키를 세니 6벌 — StubExternalsConfig/FixedClockConfig 조합이 축이었다. 정작 그 javadoc이 "안 쓰는 스텁은 아무 일도 하지 않는다"고 적어 놓고 있었고, 시각은 설정이 아니라 값이었다. 캐시 워밍 워크플로우 + 포크 cpu/2 + jacoco opt-in(읽는 곳 없음) + 컨테이너 JVM당 공유 + @FixedClock으로 컨텍스트 6벌→2벌(187개 클래스가 한 벌). BE 9m07s→6m10s(-33%), FE는 잡 분리+Playwright 캐시로 7m18s→3m47s(-48%). ARM 러너는 6m09s로 1분14초 빨랐지만 되돌림 — 배포 노드가 x86_64다. larger runner는 애초에 불가(조직 전용, 이 레포는 개인 계정). 덤으로 paths에 워크플로우 자신이 빠져 CI 정의를 갈아엎은 PR이 그 CI를 안 돌리고 머지될 뻔한 구멍도 메움 |
| ELOG-030 | 2026-08 | 💰 비용 최적화 | Longhorn Tier1을 확정하고, 2개월짜리 오진 하나를 취소하다 |
ELOG-029가 남긴 좌표(orino-longhorn-backup)에 3일 한시 측정을 켜고 판독. Tier1의 70~72%가 이 버킷으로 확정돼 잔여 44k/day가 전량 귀속됨(잔여 17k = Loki 14.5k + 기타 2.5k). 메커니즘은 --period 3600 한 번에 드러남 — 4일 내내 04 UTC 한 시간에 100%, 즉 폴링이 아니라 daily-backup(0 4 * * *) 자체. S3엔 디렉터리가 없어 blocks/<xx>/<yy>/ 트리를 걷으면 디렉터리당 List 1회 → 전수 실측 순회 1회 = 34,152 List(블록 1개당 약 1회)로 측정값과 일치. 폭주가 아닌 설계상 고유 비용이라 추적 종료(줄이려면 RPO 24h→48h를 팔아야 함, 월 $5.4). 그리고 ELOG-029의 '백업 블록 미회수'는 오진이었다 — 객체 수는 느는데 BucketSizeBytes는 평평한 모순을 파니, 실제 객체 35,250 vs DeleteMarkers 257,942(88%). NumberOfObjects가 삭제 표식까지 세는 것. 블록은 내내 정상 회수됐고 versioning Suspended + lifecycle 부재로 묘비만 148일치 쌓임 → expired_object_delete_marker 모듈 공통 적용. 기한(8/21) 초과 2일은 끄는 이슈(#1211)를 켜자마자 닫아서 발생. 집행까지 끝까지 확인 — 적용 29시간 뒤에도 표식이 그대로여서 NumberOfObjects가 38,764로 찍힌 걸 완료로 볼 뻔했으나 같은 시각 실물은 274,992였다(표식 239,569 미감소). 규칙 탓으로 몰지 않고 적격성을 먼저 세어 전량이 요건 충족·규칙도 정상 = 아직 안 돌았을 뿐임을 확인, 4시간 뒤 실제 집행돼 표식 232,192개 제거·실제 객체 35,374 온전·backup CR 63개 전부 Completed. 메트릭 값은 맞았지만 시점이 4시간 빨랐다 — 파생 지표가 아니라 원천(list-object-versions)을 세야 하는 이유 |
| ELOG-029 | 2026-08 | 💰 비용 최적화 | 잔여 Tier1을 $0.48로 반증하다 — 유일하게 계측된 버킷은 결백했다 |
ELOG-027이 Tier2를 -93%로 잡은 뒤에도 Tier1은 절반이 주인이 없었다(잔여 33,941/day). CE는 usage type까지만 쪼개져 버킷별 귀속이 막힘. 여러 버킷 중 클라이언트 계측이라는 대조군을 가진 유일한 버킷 orino-loki-logs에만 유료 request metrics를 3일 시한으로 켜고(켜는 PR과 끄는 이슈를 같은 날 생성) 첫날은 부분 구간이라 버림. 결과 실청구 14,486 vs 계측 14,494로 오차 0.06% — 연산별로도 겹침(List 13,549 vs 13,556). Loki 무죄 확정, 잔여는 다른 버킷. 끄기 전 무료 데이터로 소거하니 객체 281,442개인 orino-longhorn-backup 하나만 남았고, 총량 재측정 결과 잔여는 줄기는커녕 44,633/day(월 $6.6)로 늘어 있었다. 단 Longhorn의 알려진 경로는 전부 닫힌 상태(pollInterval: 0, PUT은 2,050/day) — 위치는 좁혔고 메커니즘은 미확정(#1211). 덤으로 백업 블록이 30일간 감소 0, +2,050객체/day로 회수 안 되는 걸 발견(ELOG-027의 Loki retention과 동일 계열). 지출 $0.48, 산출물은 절감이 아니라 가설 공간 축소
|
| ELOG-028 | 2026-08 | 🔧 트러블슈팅 | 테스트 하나를 더했더니 CI가 죽었다 — 테스트 JVM 한계를 선언한 적이 없음 | 통합 테스트 1개를 추가한 PR에서 건드리지도 않은 SecurityConfigTest가 OutOfMemoryError at Class.forName0으로 실패(Test Executor 사망). 로컬은 통과. main의 초록은 근거가 아니었다 — BE CD는 이미지 빌드·스캔만 하고 테스트는 PR의 BE CI에서만 돈다. 전례인 컨텍스트 폭증도 아님(@Import 조합 5종, 캐시 상한 32). 진짜 원인은 build.gradle에 메모리 언급이 한 줄도 없어 Gradle 기본 힙 512m으로 돌던 것 — 512m을 강제해도 로컬은 통과하므로, 스위트는 선언된 한계가 아니라 그 기계에 남은 램에 기대고 있었다. maxHeapSize=2g + MaxMetaspaceSize=1g 선언(어느 쪽이 말랐는지 로그가 안 남아 둘 다). CI 초록, 시간은 10m2s→7m50s |
| ELOG-027 | 2026-08 | 💰 비용 최적화 | S3 비용이 안 줄던 이유 — 폴링 루프 4개와 한 번도 안 돈 Loki retention |
ELOG-008 조치 후에도 청구가 2달째 그대로($13.1→$13.6). caching bucket은 실제로 먹혔고(store-gateway GET 108k→1.5k/day) 그 뒤에 가려 있던 compactor가 Tier2 전량(279k/day)을 물려받은 것. compaction 실행은 0회 — 전부 "할 일 없음" 재확인 폴링. thanos compact의 주기 플래그 4개(wait·cleanup·block-viewer·progress)가 다 기본 1~5m이라 전수 조정 → Tier2 -93%. 이어 Tier1 1위는 Loki S3.List 39.7k/day(월 $5.25)였는데 원인은 retention_period: 90d가 선언만 되고 집행된 적 없음(compactor.retention_enabled 기본 false) → 인덱스 테이블 무한 증가(135개), 비용이 매달 자동 상승하는 구조. retention 활성 + shipper 폴링 5m→30m. S3 월 $13.58 → ~$5.9 예상. "Longhorn GC 미작동"·"삭제 마커가 LIST 증폭"은 둘 다 오답으로 판명(기록 보존) |
| ELOG-026 | 2026-08 | 🔧 트러블슈팅 | 웹푸시 스파이크 — 라이브러리를 안 쓰기로 한 이유 | 3단계 첫 관문. 후보 의존성 트리를 찍으니 nl.martijndwars:web-push가 아티팩트 29개 + Netty 4.1.42(프로젝트는 4.2.16, 메이저 호환 깨짐)를 끌고 옴. com.interaso는 깔끔하나 순수 Java에 kotlin-stdlib 유입. 필요한 원시 연산(ECDH·HMAC·AES-GCM·ECDSA)이 전부 JDK에 있어 새 의존성 0개로 직접 구현. RFC 8291 테스트 벡터 + Node http_ece 기준값과 바이트 일치, 대문자 하나 바꿔 실패도 확인. 막히지 않음 |
| ELOG-025 | 2026-08 | 🔧 트러블슈팅 | 새벽 4시 이전에만 복습 테스트 16개가 깨진다 | 03:36 KST에 무관한 PR 빌드가 16개 실패(복습·플래시카드). stash 후 main에서 재현해 내 변경 아님을 확정. #1004가 학습일 경계를 04:00으로 옮기며 프로덕션·FE는 훑었으나 테스트 헬퍼 testToday()만 자정 기준으로 남음 → 그 4시간 창(=CI 18~22 UTC)에만 앱보다 하루 앞선 날짜를 줘 심어둔 복습이 '내일 몫'이 됨. StudyDay.of()로 교정 + 인라인 사본 통일. 프로덕션 코드는 무변경 |
| ELOG-024 | 2026-08 | 🔧 트러블슈팅 | 목적지 검색이 "파리"에 파리바게뜨를 준다 | Places includedType은 필터가 아니라 힌트 — 코드·테스트 다 통과하는데 화면엔 빵집. strictTypeFiltering은 답이 아님(켜면 도쿄도 admin_1·파리 admin_3까지 사라짐, 도시의 행정 단계가 나라마다 다름). 후보 20개로 늘려 응답 types로 직접 걸러내고 좁은 단계 우선. 파리 → Europe/Paris·EUR, 그 좌표가 장소 검색 편향까지 이어짐(오사카 여행 = 오사카 가게 20/20) |
| ELOG-023 | 2026-08 | 💰 비용 최적화 | 최초 유료 외부 API — 화면 조작이 곧 과금이 되는 구조 차단 | Places/Routes는 호출당 과금인데 붙는 자리가 타이핑·날짜 탭처럼 반복 조작 지점. 제출 시에만 검색 + Redis 캐시(검색 1h·구간 30d)로 차단. 구간 키를 여행/일정 id가 아닌 좌표쌍+수단으로 잡아 순서 변경에도 재사용. 4일·하루 5곳 기준 탭 10회 왕복 시 160→16회, 256→34ms·482→24ms. 빈 결과·실패는 캐시 안 함 |
| ELOG-022 | 2026-07 | 🔧 트러블슈팅 | 노드 팬 소음 — idle 부스트가 원인, 팬 하한은 EC가 결정 | idle(98%)인데 EPP=performance로 상시 풀부스트(4.4GHz)→발열→팬 3200rpm. Ansible node_os에 platform_profile=quiet + EPP=power(1차, PR #990)로 3200→2600rpm, scaling_max 2.2GHz 캡(2차, PR #991)으로 Tctl 61 |
| ELOG-021 | 2026-07 | 🔧 트러블슈팅 | 리프레시 토큰 회전 레이스로 재로그인이 잦음 | 엑세스 30분·리프레시 14일로 TTL은 정상. reissue가 단일 사용 회전인데 재발급 호출이 탭 간 미조율(다중 탭/시작-인터셉터 겹침) → 서로를 무효화(AUTH-ERR-002)→ /login. Playwright로 stale 세션 401 재현. BE 30초 유예 창(직전 토큰 수렴) + FE Web Locks·BroadcastChannel 단일 재발급으로 조치 |
| ELOG-020 | 2026-06 | 🔧 트러블슈팅 | alloy config의 River {{ }}가 Helm tpl에 평가돼 조용히 미동작 |
BE 로그 message 축약 stage.template이 배포 후 template=""로 비워짐 — alloy 차트가 configMap.content를 Helm tpl로 렌더해 River Go-template을 평가. fmt·sync 통과하지만 no-op. {{ }} 없는 stage.output { source="message" }로 전환 + 파드 로드값/실증 검증 |
| ELOG-019 | 2026-06 | 🔧 트러블슈팅 | 로그 대시보드 "json parse 에러"에서 시작한 4겹 드리프트 | 수동 대시보드 | json이 nginx 로그서 실패 → 표준 대시보드 datasource not found → sidecar reload 401(admin 비번 드리프트) → 500(stale PVC 교착). 뿌리는 persistence PVC가 코드와 어긋난 옛 상태 보존. 대시보드 일원화+admin SealedSecret+persistence 비활성화. datasource 3→5, Tempo/Thanos 85일만에 정상화 |
| ELOG-018 | 2026-06 | ⚡ 성능 개선 | 통합 캘린더 피드 p95 SLO 위반(직렬 외부호출+tasks 무캐시) |
getFeed가 events·reviews·tasks를 직렬 실행, tasks는 매 요청 라이브 호출. tasks Redis 캐시 + events·tasks 가상스레드 병렬화(복습은 요청 스레드 유지). 알림 재발 없음·slow-ratio 0% |
| ELOG-017 | 2026-06 | 🔧 트러블슈팅 | ArgoCD 본체를 App-of-Apps 자기관리로 전환 | repo-server throttle(info) 추적 중 ArgoCD 본체가 GitOps 밖(수동 helm upgrade)임을 발견. multi-source self-managed Application로 편입, values는 부트스트랩과 단일 소스 공유. 이후 머지만으로 자동 반영 |
| ELOG-016 | 2026-06 | 🚨 장애 대응 | 알림이 Discord로 한 번도 전달 안 됨 | operator가 discord webhook_url_file 거부→config 통째 null fallback. 37h tempo 다운도 무통보. AlertmanagerConfig CRD apiURL로 전환 |
| ELOG-015 | 2026-06 | 🔧 트러블슈팅 | tempo-0 OOMKilled CrashLoop(434회) | resources가 top-level이라 무시→LimitRange 기본 512Mi 적용→OOM. .Values.tempo.resources로 이동+1.5Gi, retention 7일, 샘플링 100→10 |
| ELOG-014 | 2026-06 | 🔧 트러블슈팅 | SLO 대시보드 전 패널 No data | istio 버킷 라벨이 le="500.0"인데 룰은 le="500" 조회(매칭 0). 가용성은 5xx 없을 때 zero-fill 누락. le 교정 + or 0*total
|
| ELOG-013 | 2026-06 | ⚡ 성능 개선 | BE CI 병렬화로 PR 빌드 ~40% 단축 | test와 image-scan이 독립인데 한 잡에서 순차(377s). 두 잡 분리 병렬 → ~229s |
| ELOG-012 | 2026-06 | 🔧 트러블슈팅 | Trivy가 stale apk upgrade 레이어 캐시로 반복 실패 | Dockerfile에 apk upgrade가 있어도 gha 레이어 캐시가 패치 전 결과 재사용. ARG CACHEBUST로 빌드마다 무효화 |
| ELOG-011 | 2026-06 | 🔧 트러블슈팅 | Tailscale operator 원격 kubectl 셋업 함정 | OAuth auth_keys 스코프 누락 403, HTTPS 인증서 미활성 tls: internal error, subnet route 미승인. 공개 노출 없이 맥에서 kubectl |
| ELOG-010 | 2026-06 | 🔧 트러블슈팅 | sealed-secrets repo 이전으로 Infra CI 전면 실패 | helm repo가 bitnami-labs→bitnami.github.io 이전(구 URL 404). CI repo-add + Chart.yaml URL 교정 |
| ELOG-009 | 2026-06 | ⚡ 성능 개선 | Cloudflare LAX 라우팅 지연 → 집 회선 직결 | 무료 CF anycast가 한국→LAX 라우팅. CF 제거 + Route53 wildcard + MetalLB + cert-manager 직결 → TTFB 872ms→12~26ms |
| ELOG-008 | 2026-06 | 💰 비용 최적화 | AWS 비용이 S3 요청료로 샘 | 용량 아닌 요청(~88%)이 주범. Thanos GET 63%·Longhorn LIST 23%. 폴링 0 + Thanos caching bucket |
| ELOG-007 | 2026-06 | 🔧 트러블슈팅 | 노드 inotify 고갈(백업·MetalLB 반복 실패) |
fs.inotify.max_user_instances=128 고갈이 두 장애의 공통 뿌리. Ansible로 1024 상향 |
| ELOG-006 | 2026-06 | 🔧 트러블슈팅 | MySQL 백업이 31일간 0건 | 시크릿 부재(CreateContainerConfigError)+OL9 런타임설치+PROCESS 권한 3겹. 2-컨테이너 진짜 mysqldump+aws-cli로 재설계 |
| ELOG-005 | 2026-06 | ⚡ 성능 개선 | FE 로딩/체감 속도 + 자료 목록 쿼리 | 코드 스플리팅(1.15MB→분할) + 이미지 즉시 미리보기 + 라우트 prefetch + materials 쿼리 member_id 인덱스 |
| ELOG-004 | 2026-06 | 🔧 트러블슈팅 | access 만료 후 403, 새로고침해야 복구 | 미인증을 401로 통일(AuthenticationEntryPoint)해 FE 런타임 자동 재발급 동작 |
| ELOG-003 | 2026-06 | 🔧 트러블슈팅 | 노트 heading이 일반 텍스트로 보임 | input rule은 정상, @tailwindcss/typography 미설치로 .prose 무력화가 진짜 원인 |
| ELOG-002 | 2026-06 | 🔧 트러블슈팅 | 노트 표가 페이지 전체를 넓힘 | 표가 아니라 AppLayout <main>의 flex min-width:auto가 콘텐츠로 늘어남. min-w-0로 해결 |
| ELOG-001 | 2026-05 | 🔧 트러블슈팅 | MySQL NodePort 외부 접속 hang | Istio envoy 프로토콜 sniff ↔ MySQL server-first 충돌. appProtocol: tcp 명시로 해결 |
새 개별 페이지(ELOG-NNN-<slug>)는 아래 형식을 따른다. 복사해서 사용:
# ELOG-NNN: <제목>
| 항목 | 내용 |
|------|------|
| 분류 | 🔧 트러블슈팅 / ⚡ 성능 개선 / 💰 비용 최적화 / 🚨 장애 대응 |
| 날짜 | YYYY-MM-DD |
| 영역 | BE / FE / Infra / DB |
| 관련 이슈/PR | #NNN, #NNN |
| 상태 | 해결 / 완화 / 모니터링 중 / 보류 |
## 1. 상황 (Before)
무슨 증상/문제가 있었는지. 어떤 맥락에서 발견했는지.
(성능 개선이면: 개선 전 수치 — 응답시간/쿼리수/메모리 등)
## 2. 원인 분석
왜 그런 일이 일어났는지. 어떻게 원인을 좁혔는지 (로그/측정/재현).
## 3. 조치
실제로 무엇을 바꿨는지. 핵심 변경(코드/설정/인프라)을 구체적으로.
## 4. 결과 (After)
조치 후 어떻게 됐는지. (성능 개선이면: 개선 후 수치 + 변화율)
## 5. 교훈 / 후속
다음에 같은 류를 만나면 무엇을 먼저 볼지. 남은 과제/재발 방지책.
## 참고
- 링크, 문서, 커밋 등- 번호(
NNN)는 순차 증가. slug는 영어 kebab-case 짧게 - 추측으로 채우지 않는다. 실제 측정/로그/조치 내용만 기록
- 성능/비용 항목은 수치(전/후) 를 반드시 남긴다
- 장애 대응은 Incident Runbook의 절차와 교차 링크