Skip to content

[Study] Kafka consumer

nrbae edited this page Nov 22, 2018 · 10 revisions

5. 카프카 컨슈머

컨슈머의 주요 기능은 특정 파티션을 곤리하고 있는 파티션 리더에게 메시지 가져오기를 요청하는 것.
각 요청은 로그의 오프셋을 명시하고 그 위치로부터 로그 메시지를 수신함.
컨슈머는 가져올 메시지의 위치를 조정할 수 있고, 필요하면 이미 가져온 데이터도 다시 가져올 수 있음.

5-1. 컨슈머 주요 옵션

참고 : consumer configs

  • 뉴 컨슈머 : 컨슈머의 오프셋을 카프카의 토픽을 이용해 저장하는 컨슈머 종류.

- bootstrap.servers

카프카 클러스터에 처음 연결하기 위한 호스트와 포트 정보로 구성된 리스트 정보.

- fetch.[min|max].bytes

한번에 가져올 수 있는 최소/최대 데이터 사이즈.

- group.id

컨슈머가 속한 컨슈머 그룹을 식별하는 식별자.

- request.timeout.ms

요청에 대해 응답을 기다리는 최대 시간.

- session.timeout.ms

컨슈머와 브로커사이의 세션 타임 아웃 시간.
이 값을 기본값보다 낮게 설정하면 실패를 빨리 감지할 수 있지만, 가비지 컬렉션이나 poll 루프를 완료하는 시간이 길어지게되면 원하지 않게 리밸런스가 일어나기도 함.

- heartbeat.interval.ms

그룹 코디네이터에게 얼마나 자주 kafkaConsumer poll()로 하트비트를 보낼것인지 조정.
session.timeout.ms보다 낮아야 함. (3분의 1 정도)

5-2. 예제

  • 컨슈머 그룹
    컨슈머를 실행할 때 항상 컨슈머 그룹이 필요.
    추가 옵션으로 컨슈머 그룹 이름을 지정할 수 있음. (추가 옵션 지정하지 않았을 경우 : console-consumer-xxxx 로 자동 생성)
$ /home1/irteam/apps/kafka/bin/kafka-console-consumer.sh \ 
--bootstrap-server kafkaserver1:9092,kafkaserver2:9092,kafkaserver3:9092 \
--topic test-topic --group test-consumer-group --from-beginning

$ /home1/irteam/apps/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server kafkaserver1:9092,kafkaserver2:9092,kafkaserver3:9092 \
--list
  • 파이썬으로 구현하기
from kafka import KafkaConsumer

consumer = KafkaConsumer('test-topic',group_id='test-consumer',bootstratp_servers='kafka-server1:9092,kafka-server2:9092,kafka-server3:9092',enable_auto_commit=True,auto_offset_reset='lastest')

for message in consumer: # 루프를 돌고, poll을 호출하면서 메시지를 가져옴.
    print "Topic: %s, Partition: %d, Offset: %d, Key: %s, Value: %s" % (message.topic, message.partition, message.offset, message.key, message.value.decode('utf-8'))

5-3. 컨슈머 그룹

┏----------------------┓                  ┏----------------------┓
| ┏------------------┓ |                  | ┏------------------┓ |
| |   partition 0    |-|------------------|>|    consumer 0    | |
| ┗------------------┛ |                  | ┗------------------┛ |
|                      |                  |                      |
| ┏------------------┓ |                  | ┏------------------┓ |
| |   partition 1    |-|------------------|>|    consumer 1    | |
| ┗------------------┛ |                  | ┗------------------┛ |
|                      |                  |                      |
| ┏------------------┓ |                  | ┏------------------┓ |
| |   partition 2    |-|------------------|>|    consumer 2    | |
| ┗------------------┛ |                  | ┗------------------┛ |
|                      |                  |                      |
┗----------------------┛                  ┗----------------------┛
        topic-01                              consumer group 01

특징

  1. 동일한 토픽에 대해 여러 컨슈머가 메시지를 가져갈 수 있도록 컨슈머 그룹이라는 기능이 있음.
  2. 컨슈머 그룹은 하나의 토픽에 여러 컨슈머 그룹이 동시에 접속해 메시지를 가져올 수 있음.
  3. 컨슈머 그룹은 컨슈머를 확장시킬 수 있음.
  4. 토픽의 파티션에는 하나의 컨슈머만 연결할 수 있음. but) 하나의 컨슈머는 여러 파티션에서 메시지를 가져올 수 있음.
    (ex) 토픽의 파티션 수 = 컨슈머 수 일 경우, 컨슈머가 가져가는 속도를 늘리기 위해서는 파티션과 컨슈머 수를 같이 늘려야 함.
  5. 컨슈머 그룹마다 각자의 오프셋을 별도로 관리. -> 하나의 토픽에 여러 컨슈머 그룹이 연결되어도 달느 컨슈머 그룹에게 영향 없이 메시지를 가져갈 수 있음. (컨슈머 그룹 아이디는 중복되지 않도록 관리해야함)
  • 리밸런스(rebalance)
    파티션의 소유권이 다른 컨슈머로 이동하는 것.리밸런스를 하는 동안 컨슈머 그룹내의 모든 컨슈머는 메시지를 가져올 수 없음.

5-4. 커밋과 오프셋

컨슈머 그룹의 컨슈머들은 각각의 파티션에 자신이 가져간 메시지의 위치 정보(오프셋)을 기록.
뉴 컨슈머에서는 카프카 내에 별도로 내부에서 사용하는 토픽(__comsumer_offsets)을 만들어 오프셋 정보를 저장.
리밸런스가 일어난 후 각각의 컨슈머는 이전에 처리했던 토픽의 파티션이 아닌 다른 새로운 파티션에 할당됨. 컨슈머는 새로운 파티션에 대해 가장 최근 커밋된 오프셋을 읽고 그 이후부터 메시지들을 가져옴.

  • 커밋(commit)
    각 파티션에 대해 현재 위치를 업데이트하는 동작
커밋된 오프셋 < 실제 처리한 마지막 오프셋 : 메시지 중복
커밋된 오프셋 > 실제 처리한 마지막 오프셋 : 메시지 누락

5-6-1. 자동 커밋 (기본값으로 많이 사용됨)

enable.auto.commit=true
5초(auto.commit.interval.ms옵션으로 조정)마다 컨슈머는 poll()을 호출할 때 가장 마지막 오프셋을 커밋함.

  • (ex) partition0으로부터 consumer1이 메시지를 가져오다가 마지막 커밋 이후 3초가 지나 consumer2의 추가로 리밸런스.
    consumer2는 partition0에 대해 마지막 커밋이 4로 되어있기 때문에 메시지 5,6을 가져옴.
    메시지 5,6은 consumer1이 리밸런스 직전에 이미 가져왔던 메시지임. -> 메시지 5,6은 중복처리
    • consumer는 5초 주기로 자동 커밋.
    • cousnmer는 한번의 poll()로 2개의 메시지를 가져옴.
partition0                                 5sec         5sec     3sec
 |    |                            ┏-----┓-----┓-----┓-----┓-----┓-----┓
 |    ┗---poll()-------> consumer1 |  1  |  2  |  3  |  4  |  5  |  6  |
 |                                 ┗-----┛-----┛-----┛-----┛-----┛-----┛
 |                                             ^           ^        ^
 |                                             |           |        |
 |                                          commit(2)   commit(4) rebalance
 poll()                                     5sec
 |                                 ┏-----┓-----┓
 ┗---------------------> consumer2 |  5  |  6  |
                                   ┗-----┛-----┛
                                               ^
                                               |
                                            commit(6)

5-6-2. 수동 커밋

enable.auto.commit=true
메시지 처리가 완료될 때까지 메시지를 가져온 것으로 간주되어서는 안 되는 경우. (몇 밀리초의 아주 작은 확률로 중복처리 가능)

KafkaConsumer<String. String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("test-topic"));
while(true){
    ConsumerRecords<String, String> record = consumer.poll(100);
    for (ConsumerRecord<String, String> record : records) {
        // 처리...
    }
    try{
        consumer.commitSync();  // 메시지를 모두 가져온 후 커밋.
    } catch (CommitFailedException exception) {
        System.out.printf("Error", exception);
    }
}

5-6-3. 특정 파티션 할당

컨슈머 그룹의 컨슈머들에게 파티션을 공평하게 분배하는것이 아닌 특정 파티션에 대해 세밀하게 제어하는 경우.

  • 키-값의 형태로 파티션에 저장되어 있고, 특정 파티션에 대한 메시지들만 가져와야 하는 경우
  • 컨슈머 프로세스가 가용성이 높아서 실패시 재시작되는 경우 이때 컨슈머 인스턴스마다 컨슈머 그룹 아이디를 서로 다르게 설정해야함.
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
String topic = "test-topic";
TopicPartition partition0 = new TopicPartition(topic, 0);
TopicPartition partition1 = new TopicPartition(topic, 1);
consumer.assign(Arrays.asList(partition0, partition1));

5-6-4. 특정 오프셋부터 메시지 가져오기

seek(파티션 번호, 오프셋 번호)메소드 사용

TopicPartition partition0 = new TopicPartitoin(topic, 0);
TopicPartition partition1 = new TopicPartitoin(topic, 1);
consumer.assign(Arrays.asList(partition0, partition1));
consumer.seek(partition0, 2);
consumer.seek(partition1, 2);