MySQL ‐ Operational‐Level System Design

실시간 변동 데이터 처리를 위한 스트리밍 데이터 처리 기법

1. Data Collection — 데이터가 발생하는 곳

• Web/App Server : 사용자가 앱에서 클릭·검색·결제 → 서버가 "클릭 이벤트" 발생한다.
• IoT Device: 센서가 온도·위치 값을 계속 측정해서 발생한다.
• Database CDC : DB에 주문이 INSERT되면 그 변경을 감지해 이벤트가 발생(CDC = Change Data Capture, "DB 바뀐 것 실시간 감지")한다.

2. Stream Storage — 일단 큐에 모임(Kafka)

• 발생한 이벤트를 곧바로 처리하지 않고 메시지 큐(Kafka)에 잠깐 쌓는다.
  • 완충(버퍼) : 갑자기 트래픽이 폭주해도 큐가 받아내고, 뒷단은 자기 속도로 소비할 수 있다.
  • 분리(디커플링) : 데이터 만드는 쪽과 처리하는 쪽이 서로 몰라도 됨 → 독립적으로 확장·교체 가능하다.
  • 여러 소비자 : 같은 이벤트를 여러 시스템이 나눠 읽을 수 있다.

3. Stream Processing — 실시간으로 가공(Flink)

• 스트림 프로세서가 큐에서 이벤트를 도착하는 즉시 꺼내서 계산한다.
• 데이터가 오는 순간 바로 처리해서 지연이 초 단위이다.

4. Data Serving — 결과를 여러 곳에서 사용

• 가공한 결과를 필요한 곳으로 팬아웃(fan-out)한다.

즉, 여러 소스에서 끊임없이 발생한 데이터를 Kafka에 모아 완충하고 스트림 프로세서가 즉시 가공해서 대시보드·알림·ML·DW 등 여러 곳에 실시간으로 공급하는 구조를 만들 수 있다.

수천억대 데이터 처리를 위한 초대용량 배치 처리 방법

실시간 데이터 동기화를 위한 디자인 설계 패턴

견고한 비동기 작업을 위한 MySQL 작업 큐 활용법

MySQL - NoSQL을 결합한 시스템 아키텍처 설계