单机部署
安装JDK
安装kafka依赖jdk和zookeeper,jdk的安装自行百度,如果是ubuntu,可以直接使用:
sudo apt-get install -y openjdk-8-jdk
安装成功后可以使用java -version
查看:
➜ softs java -version
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~18.04-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
安装zookeeper
下载zookeeper包:Apache ZooKeeper Download
解压:
tar -xvf apache-zookeeper-3.8.0-bin.tar.gz
修改配置:
cd apache-zookeeper-3.8.0-bin/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
主要修改dataDir
,默认是/tmp/zookeeper
,建议修改为硬盘空间比较大的目录
在apache-zookeeper-3.7.0-bin/bin
目录下启动zk:
安装kafka
下载kafka包:Apache Kafka Download
解压:
tar -xvf kafka_2.13-3.2.1.tgz
修改配置:
cd kafka_2.13-3.2.1
vim config/server.properties
主要有以下几项重要配置:
# 节点id
broker.id=0
# ip改为你本机ip
listeners=PLAINTEXT://10.211.55.3:9092
# ip改为你本机ip
advertised.listeners=PLAINTEXT://10.211.55.3:9092
# 虽然叫log,实际是数据目录,建议修改为硬盘空间比较大的目录
log.dirs=/tmp/kafka-logs
# 修改为zk的地址,本次演示zk就在同一台机器上,所以使用localhost
zookeeper.connect=localhost:2181
启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
停止kafka:
bin/kafka-server-stop.sh
集群部署
zookeeper集群
准备三台服务器,分别下载解压好zookeeper,与安装单机zookeeper时一样,修改配置文件conf/zoo.cfg
,关键在于增加三行配置:
server.1=服务器1-ip:2888:3888
server.2=服务器2-ip:2888:3888
server.3=服务器3-ip:2888:3888
三台服务器都用相同的配置,然后启动服务即可。三个zookeeper之间会用2888和3888端口进行通讯
kafka集群
和zk同理,找三台服务器,解压修改配置:
# 三个kafka的id必须不同,如0,1,2
broker.id=0
# 把三台zookeeper地址都配进来
zookeeper.connect=zk1-ip:2181,zk2-ip:2181,zk3-ip:2181
# 其他配置和单机时一样
启动服务即可