Zookeeper 安装配置

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun

前言

有时会需要安装开源的大数据集群进行测评或者验证问题，已经装过很多遍了，所以想系统的总结整理一下各个组件的安装部署，包括 Zookeeper、Hadoop、Hive、Spark 等。

版本

  • Zookeeper 3.5.6 3.8.4 3.9.3

    初始化

    包括主机名修改、SSH互信、JDK安装等

SSH互信

1
2
3
4
5
6
7
8
9
10
11
# 每个节点
ssh-keygen -t rsa

# 从 1节点执行，传到2
# 从 2节点执行，传到3
# 从 n-1节点执行，传到n
# 从 n节点执行，传到1
# 将 1节点authorized_keys传到其他所有节点
cd ~/.ssh
cat id_rsa.pub>>authorized_keys
scp authorized_keys 192.168.1.2:~/.ssh/

下载Zookeeper

下载地址：https://archive.apache.org/dist/zookeeper/

解压

以 3.5.6 为例：

1
2
tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz -C /usr/local/
ln -s /usr/local/apache-zookeeper-3.5.6-bin /usr/local/zookeeper

配置环境变量

1
vi /etc/profile.d/zookeeper.sh
1
2
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
1
source /etc/profile.d/zookeeper.sh

配置Zookeeper

zoo.cfg

1
2
cd /usr/local/zookeeper/conf/
vi zoo.cfg
1
2
3
4
5
6
7
8
9
10
11
12
13
14
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/dataLog
# 事务日志文件数保留的蜀门，默认为3
autopurge.snapRetainCount=3
# 事务日志清理频率，单位是小时。需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。 
autopurge.purgeInterval=1 
clientPort=2181
# 这里IP可以改为对应的hostname
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

创建数据目录

1
2
3
mkdir -p /usr/local/zookeeper/data
mkdir -p /usr/local/zookeeper/dataLog
echo "1" > /usr/local/zookeeper/data/myid

dataDir

  • 核心作用：存储 ZooKeeper 的快照数据（snapshot） 和事务日志索引。
    • 快照数据：ZooKeeper 会定期将内存中的数据状态（如节点、权限等）持久化到快照文件中，用于快速恢复数据。快照文件通常以 snapshot.xxxx 命名（xxxx 为事务 ID）。
    • 其他元数据：包括集群成员信息、myid 文件（用于标识当前节点在集群中的 ID，仅在集群模式下存在）等。
  • 特点：
    • 快照数据是内存数据的周期性备份，并非实时更新，因此不能单独作为数据恢复的唯一依据，需要配合事务日志使用。
    • 该目录是 ZooKeeper 运行的必填目录，必须在配置文件（zoo.cfg）中指定。

dataLogDir

  • 核心作用：专门存储 ZooKeeper 的事务日志（transaction log）。
    • 事务日志记录了 ZooKeeper 处理的所有写操作（如创建节点、修改数据等），是实时追加的，每一次事务操作都会被立即写入日志，确保数据的一致性和可恢复性。
  • 特点：
    • 事务日志是 ZooKeeper 数据一致性的关键，恢复数据时需先通过事务日志重演所有操作，再结合快照数据补充最新状态。
    • 该目录是可选配置（若不指定，事务日志会默认存储在 dataDir 中），但强烈建议单独设置，原因是：
      • 事务日志的写入频率远高于快照，单独存储可减少磁盘 IO 竞争，提升性能。
      • 便于日志管理（如单独备份、清理过期日志）。

配置日志

主要是修改了默认的日志路径，也可以用默认的日志配置

修改 zkEnv.sh

1
vi /usr/local/zookeeper/bin/zkEnv.sh

将

1
2
3
4
5
6
7
8
9
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="$ZOOKEEPER_PREFIX/logs"
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,CONSOLE"
fi

修改为

1
2
3
4
5
6
7
8
9
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="/var/log/zookeeper"
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,CONSOLE,ROLLINGFILE"
fi

  • ZOO_LOG4J_PROP : 可以根据需要选择是否保留CONSOLE，设置日志级别等， 3.8 和 3.9 版本没有这个属性可以忽略

创建日志目录

每个节点都执行：

1
mkdir -p /var/log/zookeeper

log4j.properties

3.8 和 3.9 版本默认没有 log4j.properties ,可以根据需要选择是否添加：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# DEFAULT: console appender only
log4j.rootLogger=WARN, CONSOLE, ROLLINGFILE

# Example with rolling log file and tracing
#log4j.rootLogger=TRACE, CONSOLE, ROLLINGFILE, TRACEFILE

# Log INFO level and above messages to the console
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Threshold=WARN
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} - %-5p [%t:%C{1}@%L] - %m%n

# Add ROLLINGFILE to rootLogger to get log file output
# Log DEBUG level and above messages to a log file
log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLINGFILE.Threshold=DEBUG
log4j.appender.ROLLINGFILE.File=/var/log/zookeeper/zookeeper.log
# Max log file size of 10MB
log4j.appender.ROLLINGFILE.MaxFileSize=10MB
# uncomment the next line to limit number of backup files
#log4j.appender.ROLLINGFILE.MaxBackupIndex=10

log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLINGFILE.layout.ConversionPattern=%d{ISO8601} - %-5p [%t:%C{1}@%L] - %m%n


# Add TRACEFILE to rootLogger to get log file output
# Log DEBUG level and above messages to a log file
log4j.appender.TRACEFILE=org.apache.log4j.FileAppender
log4j.appender.TRACEFILE.Threshold=TRACE
log4j.appender.TRACEFILE.File=zookeeper_trace.log

log4j.appender.TRACEFILE.layout=org.apache.log4j.PatternLayout
### Notice we are including log4j's NDC here (%x)
log4j.appender.TRACEFILE.layout.ConversionPattern=%d{ISO8601} - %-5p [%t:%C{1}@%L][%x] - %m%n

复制Zookeeper和系统环境变量到其他节点

1
2
3
4
scp -r /usr/local/apache-zookeeper-3.5.6-bin/ 192.168.1.2:/usr/local/
scp -r /usr/local/apache-zookeeper-3.5.6-bin/ 192.168.1.3:/usr/local/
scp /etc/profile.d/zookeeper.sh 192.168.1.2:/etc/profile.d/
scp /etc/profile.d/zookeeper.sh 192.168.1.3:/etc/profile.d/

创建软链接并使环境变量生效

在其他每个节点上都创建软链接

1
2
ln -s /usr/local/apache-zookeeper-3.5.6-bin /usr/local/zookeeper
source /etc/profile.d/zookeeper.sh

修改myid文件内容

将2节点上ZooKeeper的myid文件内容修改为数字2：

1
echo "2" > /usr/local/zookeeper/data/myid

将3节点上ZooKeeper的myid文件内容修改为数字3：

1
echo "3" > /usr/local/zookeeper/data/myid

启动ZooKeeper

在每个节点上执行如下操作启动ZooKeeper：

1
zkServer.sh start

1
2
3
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

在每个节点上执行如下命令查看ZooKeeper状态：

1
zkServer.sh status

1
2
3
4
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader

或

1
2
3
4
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follow

验证ZooKeeper

当ZooKeeper服务启动成功之后，在任意一个节点上执行如下命令进行验证：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
zkCli.sh

Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is enabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /hello world
Created /hello
[zk: localhost:2181(CONNECTED) 2] get /hello
world
[zk: localhost:2181(CONNECTED) 3] ls /
[hello, zookeeper]
[zk: localhost:2181(CONNECTED) 4] set /hello new-world
[zk: localhost:2181(CONNECTED) 5] get /hello
new-world
[zk: localhost:2181(CONNECTED) 6] delete /hello
[zk: localhost:2181(CONNECTED) 7] ls /
[zookeeper]

zkCli.sh 默认连接 localhost:2181 ，也可以连接指定的 server 如：

1
2
3
4
5
6
7
8
9
zkCli.sh -server 192.168.1.2:2181
Connecting to 192.168.1.2:2181
Welcome to ZooKeeper!
JLine support is enabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: 192.168.1.2:2181(CONNECTED) 0]

赏

感谢您的支持!

支付宝
微信

本文由 董可伦 发表于 伦少的博客 ,采用署名-非商业性使用-禁止演绎 3.0进行许可。

非商业转载请注明作者及出处。商业转载请联系作者本人。

本文标题：Zookeeper 安装配置

本文链接：https://dongkelun.com/2025/08/21/zookeeper/zookeeperConf/

欢迎关注我的公众号

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

2016年本科毕业于合肥工业大学<br><br>信息与计算科学专业<br><br>目前在济南一家公司从事大数据的工作~~