Skip to content

Engineering Log

wcorn edited this page Aug 30, 2026 · 31 revisions

Engineering Log

트러블슈팅 · 성능 개선 · 비용 최적화 · 장애 대응 기록. 문제 → 원인 → 조치 → 결과가 있는 작업을 항목별 개별 페이지로 남긴다.

새 항목: 아래 리스트에 한 줄 추가 + ELOG-NNN-<slug> 개별 페이지 생성. 작성은 맨 아래 템플릿 참고.

분류

  • 🔧 트러블슈팅 — 장애/버그 원인 추적과 해결
  • ⚡ 성능 개선 — 응답속도/처리량/리소스 최적화
  • 💰 비용 최적화 — 인프라/클라우드 비용 절감
  • 🚨 장애 대응 — 운영 중 발생한 인시던트 (상세는 Incident Runbook과 교차 참조)

목록

# 날짜 분류 제목 한 줄 요약
ELOG-031 2026-08 ⚡ 성능 개선 CI 9분 — 한 번도 채워진 적 없는 캐시와, 조합이 낳은 컨텍스트 6벌 ELOG-014
ELOG-013으로 갈라 둔 test 잡이 다시 wall-clock을 독차지(9m07s, 그중 테스트 443s). 로그 두 줄이 첫 원인이었다 — cache-read-only: true + Gradle User Home cache not found. setup-gradle은 기본 브랜치에서만 캐시를 쓰는데 main에서 Gradle이 도는 워크플로우가 하나도 없었다(be-ci는 pull_request 전용, be-cd는 Docker 안에서 빌드) → 모든 PR이 배포판부터 새로 받는 중. 설정은 옳았고 쓰는 사람이 없었을 뿐이다. 실행 중 docker ps를 세니 redis 컨테이너가 포크당 9개 — RedisContainer가 @Bean이라 컨텍스트마다 새로 뜸(MySQL은 jdbc:tc:라 이미 JVM당 1개였고 Redis만 밖에 있었다). 그 숫자가 곧 컨텍스트 수라서 TRACE로 MergedContextConfiguration 키를 세니 6벌 — StubExternalsConfig/FixedClockConfig 조합이 축이었다. 정작 그 javadoc이 "안 쓰는 스텁은 아무 일도 하지 않는다"고 적어 놓고 있었고, 시각은 설정이 아니라 값이었다. 캐시 워밍 워크플로우 + 포크 cpu/2 + jacoco opt-in(읽는 곳 없음) + 컨테이너 JVM당 공유 + @FixedClock으로 컨텍스트 6벌→2벌(187개 클래스가 한 벌). BE 9m07s→6m10s(-33%), FE는 잡 분리+Playwright 캐시로 7m18s→3m47s(-48%). ARM 러너는 6m09s로 1분14초 빨랐지만 되돌림 — 배포 노드가 x86_64다. larger runner는 애초에 불가(조직 전용, 이 레포는 개인 계정). 덤으로 paths에 워크플로우 자신이 빠져 CI 정의를 갈아엎은 PR이 그 CI를 안 돌리고 머지될 뻔한 구멍도 메움
ELOG-030 2026-08 💰 비용 최적화 Longhorn Tier1을 확정하고, 2개월짜리 오진 하나를 취소하다 ELOG-029가 남긴 좌표(orino-longhorn-backup)에 3일 한시 측정을 켜고 판독. Tier1의 70~72%가 이 버킷으로 확정돼 잔여 44k/day가 전량 귀속됨(잔여 17k = Loki 14.5k + 기타 2.5k). 메커니즘은 --period 3600 한 번에 드러남 — 4일 내내 04 UTC 한 시간에 100%, 즉 폴링이 아니라 daily-backup(0 4 * * *) 자체. S3엔 디렉터리가 없어 blocks/<xx>/<yy>/ 트리를 걷으면 디렉터리당 List 1회 → 전수 실측 순회 1회 = 34,152 List(블록 1개당 약 1회)로 측정값과 일치. 폭주가 아닌 설계상 고유 비용이라 추적 종료(줄이려면 RPO 24h→48h를 팔아야 함, 월 $5.4). 그리고 ELOG-029의 '백업 블록 미회수'는 오진이었다 — 객체 수는 느는데 BucketSizeBytes는 평평한 모순을 파니, 실제 객체 35,250 vs DeleteMarkers 257,942(88%). NumberOfObjects가 삭제 표식까지 세는 것. 블록은 내내 정상 회수됐고 versioning Suspended + lifecycle 부재로 묘비만 148일치 쌓임 → expired_object_delete_marker 모듈 공통 적용. 기한(8/21) 초과 2일은 끄는 이슈(#1211)를 켜자마자 닫아서 발생. 집행까지 끝까지 확인 — 적용 29시간 뒤에도 표식이 그대로여서 NumberOfObjects가 38,764로 찍힌 걸 완료로 볼 뻔했으나 같은 시각 실물은 274,992였다(표식 239,569 미감소). 규칙 탓으로 몰지 않고 적격성을 먼저 세어 전량이 요건 충족·규칙도 정상 = 아직 안 돌았을 뿐임을 확인, 4시간 뒤 실제 집행돼 표식 232,192개 제거·실제 객체 35,374 온전·backup CR 63개 전부 Completed. 메트릭 값은 맞았지만 시점이 4시간 빨랐다 — 파생 지표가 아니라 원천(list-object-versions)을 세야 하는 이유
ELOG-029 2026-08 💰 비용 최적화 잔여 Tier1을 $0.48로 반증하다 — 유일하게 계측된 버킷은 결백했다 ELOG-027이 Tier2를 -93%로 잡은 뒤에도 Tier1은 절반이 주인이 없었다(잔여 33,941/day). CE는 usage type까지만 쪼개져 버킷별 귀속이 막힘. 여러 버킷 중 클라이언트 계측이라는 대조군을 가진 유일한 버킷 orino-loki-logs에만 유료 request metrics를 3일 시한으로 켜고(켜는 PR과 끄는 이슈를 같은 날 생성) 첫날은 부분 구간이라 버림. 결과 실청구 14,486 vs 계측 14,494로 오차 0.06% — 연산별로도 겹침(List 13,549 vs 13,556). Loki 무죄 확정, 잔여는 다른 버킷. 끄기 전 무료 데이터로 소거하니 객체 281,442개인 orino-longhorn-backup 하나만 남았고, 총량 재측정 결과 잔여는 줄기는커녕 44,633/day(월 $6.6)로 늘어 있었다. 단 Longhorn의 알려진 경로는 전부 닫힌 상태(pollInterval: 0, PUT은 2,050/day) — 위치는 좁혔고 메커니즘은 미확정(#1211). 덤으로 백업 블록이 30일간 감소 0, +2,050객체/day로 회수 안 되는 걸 발견(ELOG-027의 Loki retention과 동일 계열). 지출 $0.48, 산출물은 절감이 아니라 가설 공간 축소
ELOG-028 2026-08 🔧 트러블슈팅 테스트 하나를 더했더니 CI가 죽었다 — 테스트 JVM 한계를 선언한 적이 없음 통합 테스트 1개를 추가한 PR에서 건드리지도 않은 SecurityConfigTest가 OutOfMemoryError at Class.forName0으로 실패(Test Executor 사망). 로컬은 통과. main의 초록은 근거가 아니었다 — BE CD는 이미지 빌드·스캔만 하고 테스트는 PR의 BE CI에서만 돈다. 전례인 컨텍스트 폭증도 아님(@Import 조합 5종, 캐시 상한 32). 진짜 원인은 build.gradle에 메모리 언급이 한 줄도 없어 Gradle 기본 힙 512m으로 돌던 것 — 512m을 강제해도 로컬은 통과하므로, 스위트는 선언된 한계가 아니라 그 기계에 남은 램에 기대고 있었다. maxHeapSize=2g + MaxMetaspaceSize=1g 선언(어느 쪽이 말랐는지 로그가 안 남아 둘 다). CI 초록, 시간은 10m2s→7m50s
ELOG-027 2026-08 💰 비용 최적화 S3 비용이 안 줄던 이유 — 폴링 루프 4개와 한 번도 안 돈 Loki retention ELOG-008 조치 후에도 청구가 2달째 그대로($13.1→$13.6). caching bucket은 실제로 먹혔고(store-gateway GET 108k→1.5k/day) 그 뒤에 가려 있던 compactor가 Tier2 전량(279k/day)을 물려받은 것. compaction 실행은 0회 — 전부 "할 일 없음" 재확인 폴링. thanos compact의 주기 플래그 4개(wait·cleanup·block-viewer·progress)가 다 기본 1~5m이라 전수 조정 → Tier2 -93%. 이어 Tier1 1위는 Loki S3.List 39.7k/day(월 $5.25)였는데 원인은 retention_period: 90d가 선언만 되고 집행된 적 없음(compactor.retention_enabled 기본 false) → 인덱스 테이블 무한 증가(135개), 비용이 매달 자동 상승하는 구조. retention 활성 + shipper 폴링 5m→30m. S3 월 $13.58 → ~$5.9 예상. "Longhorn GC 미작동"·"삭제 마커가 LIST 증폭"은 둘 다 오답으로 판명(기록 보존)
ELOG-026 2026-08 🔧 트러블슈팅 웹푸시 스파이크 — 라이브러리를 안 쓰기로 한 이유 3단계 첫 관문. 후보 의존성 트리를 찍으니 nl.martijndwars:web-push가 아티팩트 29개 + Netty 4.1.42(프로젝트는 4.2.16, 메이저 호환 깨짐)를 끌고 옴. com.interaso는 깔끔하나 순수 Java에 kotlin-stdlib 유입. 필요한 원시 연산(ECDH·HMAC·AES-GCM·ECDSA)이 전부 JDK에 있어 새 의존성 0개로 직접 구현. RFC 8291 테스트 벡터 + Node http_ece 기준값과 바이트 일치, 대문자 하나 바꿔 실패도 확인. 막히지 않음
ELOG-025 2026-08 🔧 트러블슈팅 새벽 4시 이전에만 복습 테스트 16개가 깨진다 03:36 KST에 무관한 PR 빌드가 16개 실패(복습·플래시카드). stash 후 main에서 재현해 내 변경 아님을 확정. #1004가 학습일 경계를 04:00으로 옮기며 프로덕션·FE는 훑었으나 테스트 헬퍼 testToday()만 자정 기준으로 남음 → 그 4시간 창(=CI 18~22 UTC)에만 앱보다 하루 앞선 날짜를 줘 심어둔 복습이 '내일 몫'이 됨. StudyDay.of()로 교정 + 인라인 사본 통일. 프로덕션 코드는 무변경
ELOG-024 2026-08 🔧 트러블슈팅 목적지 검색이 "파리"에 파리바게뜨를 준다 Places includedType은 필터가 아니라 힌트 — 코드·테스트 다 통과하는데 화면엔 빵집. strictTypeFiltering은 답이 아님(켜면 도쿄도 admin_1·파리 admin_3까지 사라짐, 도시의 행정 단계가 나라마다 다름). 후보 20개로 늘려 응답 types로 직접 걸러내고 좁은 단계 우선. 파리 → Europe/Paris·EUR, 그 좌표가 장소 검색 편향까지 이어짐(오사카 여행 = 오사카 가게 20/20)
ELOG-023 2026-08 💰 비용 최적화 최초 유료 외부 API — 화면 조작이 곧 과금이 되는 구조 차단 Places/Routes는 호출당 과금인데 붙는 자리가 타이핑·날짜 탭처럼 반복 조작 지점. 제출 시에만 검색 + Redis 캐시(검색 1h·구간 30d)로 차단. 구간 키를 여행/일정 id가 아닌 좌표쌍+수단으로 잡아 순서 변경에도 재사용. 4일·하루 5곳 기준 탭 10회 왕복 시 160→16회, 256→34ms·482→24ms. 빈 결과·실패는 캐시 안 함
ELOG-022 2026-07 🔧 트러블슈팅 노드 팬 소음 — idle 부스트가 원인, 팬 하한은 EC가 결정 idle(98%)인데 EPP=performance로 상시 풀부스트(4.4GHz)→발열→팬 3200rpm. Ansible node_os에 platform_profile=quiet + EPP=power(1차, PR #990)로 3200→2600rpm, scaling_max 2.2GHz 캡(2차, PR #991)으로 Tctl 6170→5052℃. 단 팬은 온도 아닌 EC 팬커브 하한(2600rpm)에 걸려 그 밑으론 sw 노브 없음(pwm/fan_curve 미노출)
ELOG-021 2026-07 🔧 트러블슈팅 리프레시 토큰 회전 레이스로 재로그인이 잦음 엑세스 30분·리프레시 14일로 TTL은 정상. reissue가 단일 사용 회전인데 재발급 호출이 탭 간 미조율(다중 탭/시작-인터셉터 겹침) → 서로를 무효화(AUTH-ERR-002)→ /login. Playwright로 stale 세션 401 재현. BE 30초 유예 창(직전 토큰 수렴) + FE Web Locks·BroadcastChannel 단일 재발급으로 조치
ELOG-020 2026-06 🔧 트러블슈팅 alloy config의 River {{ }}가 Helm tpl에 평가돼 조용히 미동작 BE 로그 message 축약 stage.template이 배포 후 template=""로 비워짐 — alloy 차트가 configMap.content를 Helm tpl로 렌더해 River Go-template을 평가. fmt·sync 통과하지만 no-op. {{ }} 없는 stage.output { source="message" }로 전환 + 파드 로드값/실증 검증
ELOG-019 2026-06 🔧 트러블슈팅 로그 대시보드 "json parse 에러"에서 시작한 4겹 드리프트 수동 대시보드 | json이 nginx 로그서 실패 → 표준 대시보드 datasource not found → sidecar reload 401(admin 비번 드리프트) → 500(stale PVC 교착). 뿌리는 persistence PVC가 코드와 어긋난 옛 상태 보존. 대시보드 일원화+admin SealedSecret+persistence 비활성화. datasource 3→5, Tempo/Thanos 85일만에 정상화
ELOG-018 2026-06 ⚡ 성능 개선 통합 캘린더 피드 p95 SLO 위반(직렬 외부호출+tasks 무캐시) getFeed가 events·reviews·tasks를 직렬 실행, tasks는 매 요청 라이브 호출. tasks Redis 캐시 + events·tasks 가상스레드 병렬화(복습은 요청 스레드 유지). 알림 재발 없음·slow-ratio 0%
ELOG-017 2026-06 🔧 트러블슈팅 ArgoCD 본체를 App-of-Apps 자기관리로 전환 repo-server throttle(info) 추적 중 ArgoCD 본체가 GitOps 밖(수동 helm upgrade)임을 발견. multi-source self-managed Application로 편입, values는 부트스트랩과 단일 소스 공유. 이후 머지만으로 자동 반영
ELOG-016 2026-06 🚨 장애 대응 알림이 Discord로 한 번도 전달 안 됨 operator가 discord webhook_url_file 거부→config 통째 null fallback. 37h tempo 다운도 무통보. AlertmanagerConfig CRD apiURL로 전환
ELOG-015 2026-06 🔧 트러블슈팅 tempo-0 OOMKilled CrashLoop(434회) resources가 top-level이라 무시→LimitRange 기본 512Mi 적용→OOM. .Values.tempo.resources로 이동+1.5Gi, retention 7일, 샘플링 100→10
ELOG-014 2026-06 🔧 트러블슈팅 SLO 대시보드 전 패널 No data istio 버킷 라벨이 le="500.0"인데 룰은 le="500" 조회(매칭 0). 가용성은 5xx 없을 때 zero-fill 누락. le 교정 + or 0*total
ELOG-013 2026-06 ⚡ 성능 개선 BE CI 병렬화로 PR 빌드 ~40% 단축 test와 image-scan이 독립인데 한 잡에서 순차(377s). 두 잡 분리 병렬 → ~229s
ELOG-012 2026-06 🔧 트러블슈팅 Trivy가 stale apk upgrade 레이어 캐시로 반복 실패 Dockerfile에 apk upgrade가 있어도 gha 레이어 캐시가 패치 전 결과 재사용. ARG CACHEBUST로 빌드마다 무효화
ELOG-011 2026-06 🔧 트러블슈팅 Tailscale operator 원격 kubectl 셋업 함정 OAuth auth_keys 스코프 누락 403, HTTPS 인증서 미활성 tls: internal error, subnet route 미승인. 공개 노출 없이 맥에서 kubectl
ELOG-010 2026-06 🔧 트러블슈팅 sealed-secrets repo 이전으로 Infra CI 전면 실패 helm repo가 bitnami-labs→bitnami.github.io 이전(구 URL 404). CI repo-add + Chart.yaml URL 교정
ELOG-009 2026-06 ⚡ 성능 개선 Cloudflare LAX 라우팅 지연 → 집 회선 직결 무료 CF anycast가 한국→LAX 라우팅. CF 제거 + Route53 wildcard + MetalLB + cert-manager 직결 → TTFB 872ms→12~26ms
ELOG-008 2026-06 💰 비용 최적화 AWS 비용이 S3 요청료로 샘 용량 아닌 요청(~88%)이 주범. Thanos GET 63%·Longhorn LIST 23%. 폴링 0 + Thanos caching bucket
ELOG-007 2026-06 🔧 트러블슈팅 노드 inotify 고갈(백업·MetalLB 반복 실패) fs.inotify.max_user_instances=128 고갈이 두 장애의 공통 뿌리. Ansible로 1024 상향
ELOG-006 2026-06 🔧 트러블슈팅 MySQL 백업이 31일간 0건 시크릿 부재(CreateContainerConfigError)+OL9 런타임설치+PROCESS 권한 3겹. 2-컨테이너 진짜 mysqldump+aws-cli로 재설계
ELOG-005 2026-06 ⚡ 성능 개선 FE 로딩/체감 속도 + 자료 목록 쿼리 코드 스플리팅(1.15MB→분할) + 이미지 즉시 미리보기 + 라우트 prefetch + materials 쿼리 member_id 인덱스
ELOG-004 2026-06 🔧 트러블슈팅 access 만료 후 403, 새로고침해야 복구 미인증을 401로 통일(AuthenticationEntryPoint)해 FE 런타임 자동 재발급 동작
ELOG-003 2026-06 🔧 트러블슈팅 노트 heading이 일반 텍스트로 보임 input rule은 정상, @tailwindcss/typography 미설치로 .prose 무력화가 진짜 원인
ELOG-002 2026-06 🔧 트러블슈팅 노트 표가 페이지 전체를 넓힘 표가 아니라 AppLayout <main>의 flex min-width:auto가 콘텐츠로 늘어남. min-w-0로 해결
ELOG-001 2026-05 🔧 트러블슈팅 MySQL NodePort 외부 접속 hang Istio envoy 프로토콜 sniff ↔ MySQL server-first 충돌. appProtocol: tcp 명시로 해결

템플릿

새 개별 페이지(ELOG-NNN-<slug>)는 아래 형식을 따른다. 복사해서 사용:

# ELOG-NNN: <제목>

| 항목 | 내용 |
|------|------|
| 분류 | 🔧 트러블슈팅 / ⚡ 성능 개선 / 💰 비용 최적화 / 🚨 장애 대응 |
| 날짜 | YYYY-MM-DD |
| 영역 | BE / FE / Infra / DB |
| 관련 이슈/PR | #NNN, #NNN |
| 상태 | 해결 / 완화 / 모니터링 중 / 보류 |

## 1. 상황 (Before)

무슨 증상/문제가 있었는지. 어떤 맥락에서 발견했는지.
(성능 개선이면: 개선 전 수치 — 응답시간/쿼리수/메모리 등)

## 2. 원인 분석

왜 그런 일이 일어났는지. 어떻게 원인을 좁혔는지 (로그/측정/재현).

## 3. 조치

실제로 무엇을 바꿨는지. 핵심 변경(코드/설정/인프라)을 구체적으로.

## 4. 결과 (After)

조치 후 어떻게 됐는지. (성능 개선이면: 개선 후 수치 + 변화율)

## 5. 교훈 / 후속

다음에 같은 류를 만나면 무엇을 먼저 볼지. 남은 과제/재발 방지책.

## 참고

- 링크, 문서, 커밋 등

작성 규칙

  • 번호(NNN)는 순차 증가. slug는 영어 kebab-case 짧게
  • 추측으로 채우지 않는다. 실제 측정/로그/조치 내용만 기록
  • 성능/비용 항목은 수치(전/후) 를 반드시 남긴다
  • 장애 대응은 Incident Runbook의 절차와 교차 링크

Clone this wiki locally