New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

kafka connect #112

Open

yeomko22 opened this issue Sep 19, 2021 · 0 comments

Owner

yeomko22 commented Sep 19, 2021

Kafka Connect

데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션
특정한 작업 형태를 템플릿으로 만들어놓고 커넥터를 실행함으로써 반복을 줄일 수 있다.

커넥터의 두가지 종료

소스 커넥터: 프로듀스 역할 수행
싱크 커넥터: 컨슈머 역할 수행

커넥트 동작 방식

사용자가 커넥트에 생성 명령을 내리면 커넥트는 내부에 커넥터와 테스크를 생성한다.
커넥터는 테스크들을 관리한다. 테스크는 커넥터에 종속되는 개념으로 실제 데이터 처리를 진행한다.
그렇기에 데이터 처리를 정상적으로 하는지 확인하기 위해서는 각 테스크의 상태를 확인해야한다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment