Centos安装配置kafka1.0.0

前言

Linux系统：Centos6.9 kafka版本：1.0.0 Scala版本：2.11.8 JDK 版本：1.8.0.91 下载地址： 安装包大约50MB kafka已经忘了装过多少遍了，来一个项目装一次，来一个项目装一次，从0.8一直装 到1.0这里记录一下吧

第一步：下载安装包到Linux

wget http://mirrors.shu.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

kafka_2.11-1.0.0.tgz中2.11表示Scala的版本

第二步：解压

# 添加可执行权限
chmod u+x kafka_2.11-1.0.0.tgz

# 解压
tar -zxf kafka_2.11-1.0.0.tgz -C /opt/modules/

我习惯给应用程序添加一个软链接指向kafka安装的根目录，这样以后如果升级的话直接修改软链接的指向就可以了。

ln -s /opt/modules/kafka_2.11-1.0.0/ /opt/shortcut/kafka

这样后面我们直接访问/opt/shortcut/kafka目录就可以了

第三步：添加环境变量（可选，用起来方便）

注意我这是直接在root用户下执行的

vim /etc/profile

# 添加以下内容
export KAFKA_HOME=/opt/shortcut/kafka
export PATH=$KAFKA_HOME/bin:$PATH

# 重新加载配置文件
source /etc/profile

第四步：关于Zookeeper

Kafka因为依赖与ZooKeeper，所以需要首先启动ZooKeeper。 如果没有安装ZooKeeper，则可以使用内置的单节点ZooKeeper实例，具体怎么安装，怎么启动不在讨论之列。 我这里CDH集群已经安装的有Zookeeper了，不用再安装了，也不用再启动了。

第五步：修改kafka配置文件

配置文件位置${KAFKA_HOME}/config/server.properties

# 集群中的唯一ID
broker.id=2

# 日志地址
log.dirs=/opt/shortcut/kafka/logs

# Zookeeper连接地址
zookeeper.connect=cm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181

，，cm03.spark.com是我已经部署好的CDH集群中的Zookeeper节点

第六步：测试

启动kafka

bin/kafka-server-start.sh config/server.properties

nohup bin/kafka-server-start.sh config/server.properties &

打开2个终端，分别在Kafaka根目录执行以下命令： 启动Producer（生产者）：

bin/kafka-console-producer.sh --broker-list cm02.spark.com:9092 --topic test

启动Consumer（消费者）：

bin/kafka-console-consumer.sh --zookeepercm01.spark.com:2181,cm02.spark.com:2181,cm03.spark.com:2181--topic test --from-beginning

OK，至此部署完成