kafka mirror maker 2

[yeomko22]

kafka mirror maker2

• 서로 다른 두 개의 카프카 클러스터 간에 토픽을 복제하는 애플리케이션이다.
• 직접 프로듀서와 컨슈머를 사용해서 미러링을 구현하는 애플리케이션을 개발하면 되지만, 미러메이커를 사용하는 이유는 토픽의 모든 것을 복제할 필요성이 있기 때문이다.
• 특히 동일 파티션에 동일 레코드가 들어가도록 하는 작업은 파티셔너에 대한 정보 없이는 불가하다.
• 또한 복제하는 토픽의 파티션 개수가 달라지면 복제된 데이터를 저장하는 토픽의 파티션 개수도 달라져야 한다. 이런 기능을 지원하는 것이 카프카 미러메이커이다.
• 미러메이커2는 단방향, 양방향 복제, ACL 복제, 새 토픽 자동 감지 등의 기능을 지원한다. 이는 클러스터를 2개 이상 지원할 때 빛이 난다.

[yeomko22]

Geo-Replication

• active-standby: 비상시를 대비해 스탠바이 클러스터를 두며, 이 떄 지리적으로 분리할 수도 있다.
• active-active: 글로벌 서비스 애플리케이션 통신 지연을 최소화하기 위해 2개 이상의 클러스터를 두고 미러링하면서 사용 가능하다.
• hub-spoke: 각 팀에서 소규모 카프카 클러스터를 사용하고 있을때 이를 하나의 클러스터로 모아 데이터 레이크로 사용하는 방식