Skip to content

ELOG 007 node inotify exhaustion

wcorn edited this page Jun 15, 2026 · 1 revision

ELOG-007: 노드 inotify 인스턴스 고갈 (MySQL 백업·MetalLB 반복 실패)

항목 내용
분류 🔧 트러블슈팅
날짜 2026-06-15
영역 Infra
관련 이슈/PR #461, #462
상태 해결

1. 상황 (Before)

서로 무관해 보이던 두 장애가 같은 시기에 발생:

  • MySQL 백업 잡이 microdnf/fsnotify에서 too many open files로 실패.
  • MetalLB speaker 파드가 note2에서 이미지 unpack/컨테이너 생성이 4~17분 지연 + 반복 재시작.

2. 원인 분석

containerd 로그에서 결정적 단서: error from *cgroupsv2.Manager.EventChan: failed to create inotify fd: too many open files. 노드 확인 결과 fs.inotify.max_user_instances = 128(기본값)인데 사용량이 153 — 고갈. 네트워크/이미지 문제가 아니라(처리량 54MB/s 정상) 노드 커널 한계가 컨테이너 생성을 막던 것. 두 장애의 공통 뿌리.

3. 조치

  • Ansible로 노드 OS를 코드화(infra/ansible, node_os 롤) — /etc/sysctl.d/99-orino.conf로:
    • fs.inotify.max_user_instances 128 → 1024
    • fs.inotify.max_user_watches ~119k → 524288
  • 양쪽 노드 적용·idempotent 확인.

4. 결과 (After)

instances=1024 watches=524288 적용 확인. 이후 MetalLB speaker 정상 기동, MySQL 백업 컨테이너 생성 정상.

5. 교훈 / 후속

  • "too many open files"가 네트워크/디스크처럼 보여도 노드 inotify sysctl을 먼저 의심.
  • 노드 OS 설정은 ad-hoc 하지 말고 Ansible IaC로(노드 무단 변경 금지). 후속: kubeadm/argocd 부트스트랩까지 Ansible화(#461).

참고

Clone this wiki locally