Skip to content

模拟Kafka数据流调试FTRL的方法

MaBiao edited this page Jan 16, 2018 · 2 revisions

Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个名为streaming的文件夹

mkdir streaming

Zookeeper安装

1.下载zookeeper

这里使用的版本是3.4.11,下载页面是Zookeeper下载,当然你也可以直接输入下面的命令

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

2.安装Zookeeper

解压:

tar zxvf zookeeper-3.4.11.tar.gz

进入到解压好的zookeeper目录中,得到当前目录

cd zookeeper-3.4.11
pwd

编辑你环境变量文件:/.bashrc或者其他文件(如是zsh,则为/.zshrc) 添加:

export ZK_HOME=/your/zk/home  # 这里填写你pwd的结果
export PATH=$PATH:$ZK_HOME/bin

然后使之生效:

source ~/.bashrc  # 刚才编辑的环境变量文件

进入到配置目录:

cd zookeeper-3.4.11/conf

复制配置文件:

cp zoo_sample.cfg  zoo.cfg

将dataDir=/tmp/zookeeper修改为你的安装目录下的data文件夹

3.启动zookeeper

zkServer.sh start

Kafka安装

1.下载kafka

回到刚才创建的streaming目录

cd ../..

你可以从kafka官网上下载:下载地址,也可以直接输入下面命令下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

2.安装kafka

解压:

tar zxvf kafka_2.11-1.0.0.tgz

修改zk相关的配置文件: 修改dataDir的值和刚才在zk中的值同步

3.启动并创建topic

启动kafka:

 bin/kafka-server-start.sh config/server.properties

创建topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

其中:

  • zookeeper:如localhost:2181,表示zookeeper的地址
  • topic:topic的名字,如test1
  • partitions:topic的分区数,非特殊情况取1即可

4.建立producer

建立生产者来发送streaming数据,同样在kafka安装目录下,输入:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

其中

  • broker-list:指定生产者要推送消息的broker地址
  • topic:指定topic,跟刚才建立的topic名字保持一致

5.将需要发送的数据在producer端发送

生产者建立后,生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端,按回车即发送。

6.消费者consumer端接收数据

消费者端接收数据时,需要指定kafka端的三个信息:zookeeper地址,group名,topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可,如zookeeper地址为“localhost:2181”,topic名字为“test1”,group名可自己设定。