Kafka安装


单机部署

安装JDK

安装kafka依赖jdk和zookeeper,jdk的安装自行百度,如果是ubuntu,可以直接使用:

sudo apt-get install -y openjdk-8-jdk

安装成功后可以使用java -version查看:

➜  softs java -version
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~18.04-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)

安装zookeeper

下载zookeeper包:Apache ZooKeeper Download

解压:

tar -xvf apache-zookeeper-3.8.0-bin.tar.gz

修改配置:

cd apache-zookeeper-3.8.0-bin/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

主要修改dataDir,默认是/tmp/zookeeper,建议修改为硬盘空间比较大的目录

apache-zookeeper-3.7.0-bin/bin目录下启动zk:

安装kafka

下载kafka包:Apache Kafka Download

解压:

tar -xvf kafka_2.13-3.2.1.tgz

修改配置:

cd kafka_2.13-3.2.1
vim config/server.properties

主要有以下几项重要配置:

# 节点id
broker.id=0
# ip改为你本机ip
listeners=PLAINTEXT://10.211.55.3:9092 
# ip改为你本机ip
advertised.listeners=PLAINTEXT://10.211.55.3:9092
# 虽然叫log,实际是数据目录,建议修改为硬盘空间比较大的目录
log.dirs=/tmp/kafka-logs
# 修改为zk的地址,本次演示zk就在同一台机器上,所以使用localhost
zookeeper.connect=localhost:2181

启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

停止kafka:

bin/kafka-server-stop.sh

集群部署

zookeeper集群

准备三台服务器,分别下载解压好zookeeper,与安装单机zookeeper时一样,修改配置文件conf/zoo.cfg,关键在于增加三行配置:

server.1=服务器1-ip:2888:3888
server.2=服务器2-ip:2888:3888
server.3=服务器3-ip:2888:3888

三台服务器都用相同的配置,然后启动服务即可。三个zookeeper之间会用2888和3888端口进行通讯

kafka集群

和zk同理,找三台服务器,解压修改配置:

# 三个kafka的id必须不同,如0,1,2
broker.id=0 

# 把三台zookeeper地址都配进来
zookeeper.connect=zk1-ip:2181,zk2-ip:2181,zk3-ip:2181

# 其他配置和单机时一样

启动服务即可

K8s部署Kafka集群

参考使用Strimzi-Kafka-Operator搭建kafka集群

文章作者: 周君
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 周君 !
评论