HDFハンズオン 3: Kafkaへメッセージ登録

Kafkaへメッセージ登録を行う部分は、HTTP APIとは別の、ReportingというProcessGroupに作成します。 単一のグループで作業を進め、大きなデータフローになってくると、管理が煩雑になってしまいます。 チュートリアルでは、以下の２つに分けています:

• データを外部から収集し、共通のフォーマットに変換する部分
• 共通のフォーマットのデータを入力として、Kafkaにメッセージ登録を行う部分

こうすることで、HTTP以外の、TCPやMQTTなどでメッセージを受信するルートを増やす際に、変換部分のみを実装すれば良くなります。 グループの区切り方は様々です、一つの参考にしてください。

Reporting ProcessGroupを作成する

以降の作業はReporting内で行います。

ConsumeKafka_0_10の設定

Property	Value
Kafka Brokers	0.hdf.aws.mine:6667
Topic Name	input
Kafka Key	${message.key}

HTTP APIからReportingへデータ挿入

Console Consumerで確認しながらテスト

サーバにSSHでログインし、以下のコマンドでConsole Consumerを起動しておきます。 NiFiからメッセージがPublishされると、こちらで確認できるはずですね:

cd /usr/hdf/current/kafka-broker
./bin/kafka-console-consumer.sh --topic input --bootstrap-server 0.hdf.aws.mine:6667 --new-consumer

inputという名前のKafkaトピックはすでに作成済です。