前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
有时会需要安装开源的大数据集群进行测评或者验证问题,已经装过很多遍了,所以想系统的总结整理一下各个组件的安装部署,包括 Zookeeper、Hadoop、Hive、Spark 等。
版本
- ZooKeeper 3.5.6 3.8.4 3.9.3
初始化
包括主机名修改、SSH互信、JDK安装等
SSH互信
1 | # 每个节点 |
下载 ZooKeeper
下载地址:https://archive.apache.org/dist/zookeeper/
解压
以 3.5.6 为例:
1 | tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz -C /usr/local/ |
配置环境变量
1 | vi /etc/profile.d/zookeeper.sh |
1 | export ZOOKEEPER_HOME=/usr/local/zookeeper |
1 | source /etc/profile.d/zookeeper.sh |
配置 ZooKeeper
zoo.cfg
1 | cd /usr/local/zookeeper/conf/ |
1 | tickTime=2000 |
创建数据目录
1 | mkdir -p /usr/local/zookeeper/data |
dataDir
- 核心作用:存储 ZooKeeper 的快照数据(snapshot) 和事务日志索引。
- 快照数据:ZooKeeper 会定期将内存中的数据状态(如节点、权限等)持久化到快照文件中,用于快速恢复数据。快照文件通常以 snapshot.xxxx 命名(xxxx 为事务 ID)。
- 其他元数据:包括集群成员信息、myid 文件(用于标识当前节点在集群中的 ID,仅在集群模式下存在)等。
- 特点:
- 快照数据是内存数据的周期性备份,并非实时更新,因此不能单独作为数据恢复的唯一依据,需要配合事务日志使用。
- 该目录是 ZooKeeper 运行的必填目录,必须在配置文件(zoo.cfg)中指定。
dataLogDir
- 核心作用:专门存储 ZooKeeper 的事务日志(transaction log)。
- 事务日志记录了 ZooKeeper 处理的所有写操作(如创建节点、修改数据等),是实时追加的,每一次事务操作都会被立即写入日志,确保数据的一致性和可恢复性。
- 特点:
- 事务日志是 ZooKeeper 数据一致性的关键,恢复数据时需先通过事务日志重演所有操作,再结合快照数据补充最新状态。
- 该目录是可选配置(若不指定,事务日志会默认存储在 dataDir 中),但强烈建议单独设置,原因是:
- 事务日志的写入频率远高于快照,单独存储可减少磁盘 IO 竞争,提升性能。
- 便于日志管理(如单独备份、清理过期日志)。
配置日志
主要是修改了默认的日志路径,也可以用默认的日志配置
修改 zkEnv.sh
1 | vi /usr/local/zookeeper/bin/zkEnv.sh |
将
1 | if [ "x${ZOO_LOG_DIR}" = "x" ] |
修改为
1 | if [ "x${ZOO_LOG_DIR}" = "x" ] |
- ZOO_LOG4J_PROP : 可以根据需要选择是否保留CONSOLE,设置日志级别等, 3.8 和 3.9 版本没有这个属性可以忽略
创建日志目录
每个节点都执行:
1 | mkdir -p /var/log/zookeeper |
log4j.properties
3.8 和 3.9 版本默认没有 log4j.properties ,可以根据需要选择是否添加:
1 | # DEFAULT: console appender only |
复制Zookeeper和系统环境变量到其他节点
1 | scp -r /usr/local/apache-zookeeper-3.5.6-bin/ 192.168.1.2:/usr/local/ |
创建软链接并使环境变量生效
在其他每个节点上都创建软链接
1 | ln -s /usr/local/apache-zookeeper-3.5.6-bin /usr/local/zookeeper |
修改myid文件内容
将2节点上ZooKeeper的myid文件内容修改为数字2:
1 | echo "2" > /usr/local/zookeeper/data/myid |
将3节点上ZooKeeper的myid文件内容修改为数字3:
1 | echo "3" > /usr/local/zookeeper/data/myid |
启动ZooKeeper
在每个节点上执行如下操作启动ZooKeeper:
1 | zkServer.sh start |
1 | ZooKeeper JMX enabled by default |
在每个节点上执行如下命令查看ZooKeeper状态:
1 | zkServer.sh status |
1 | ZooKeeper JMX enabled by default |
或
1 | ZooKeeper JMX enabled by default |
验证ZooKeeper
当ZooKeeper服务启动成功之后,在任意一个节点上执行如下命令进行验证:
1 | zkCli.sh |
zkCli.sh 默认连接 localhost:2181 ,也可以连接指定的 server 如:
1 | zkCli.sh -server 192.168.1.2:2181 |