前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住给大家分享一下。点击跳转到网站:https://www.captainai.net/dongkelun
前言
记录Ceph分布式集群安装配置过程及问题解决
1. 服务器环境说明
| 主机名 | 角色 | IP地址 |
|---|---|---|
| ceph1 | ceph-deploy、mon、mgr、osd | 192.168.44.128 |
| ceph2 | mon、mgr、osd | 192.168.44.129 |
| ceph3 | mon、mgr、osd | 192.168.44.130 |
要保证每台机器能连接外网
2. 服务器环境准备
2.1 配置yum源
1 | wget -qO /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo |
2.2 同步服务器时间
2.3 配置主机名解析
1 | cat >> /etc/hosts << EOF |
2.4 关闭防火墙和selinux
2.4.1 防火墙
1 | service firewalld stop |
2.4.2 selinux
临时禁用
1 | setenforce 0 |
永久禁用(重启机器)
1 | vim /etc/sysconfig/selinux |
1 | SELINUX=disabled |
2.5 配置免密认证
3. 搭建Ceph集群
3.1 安装ceph-deploy工具
ceph-deploy工具只需要安装在ceph1节点上,命令如下:
1 | yum -y install python-setuptools ceph-deploy ceph |
安装ceph包的目的是为了以后能在ceph-admin节点中查看ceph集群的状态
在ceph1节点上创建集群的工作目录,该目录会存放ceph-deploy指令行执时生成的日志和秘钥信息等:
1 | mkdir -p /usr/local/ceph-cluster |
3.2 初始化集群
在ceph1节点上进入/usr/local/ceph-cluster目录,执行ceph-deploy命令初始化集群设置,初始化要求指定节点作为mon,命令如下:
1 | ceph-deploy new --public-network 192.168.44.0/24 --cluster-network 192.168.44.0/24 ceph1 |
–public-network代表ceph集群对外提供调用的网络,–cluster-network代表用于集群内部> 通信的网络。一般情况下ceph集群中需要有两个网络,这样可以保证ceph集群的安全性。由> > 于此次搭建的环境中只有一个网络,所以此处两个配置项填写同一个网段的地址。
上面的命令执行完成后会将ceph1节点配置为mon,并且会在/usr/local/ceph-cluster目录下生成集群的配置文件、key文件(用于身份验证)、日志文件等:
1 | [root@ceph1 ceph-cluster]# ll |
配置文件ceph.conf内容如下:
1 | [global] |
3.3 安装ceph组件
接下来需要在各个osd节点安装ceph组件包:
1 | yum -y install ceph ceph-mon ceph-mgr ceph-mds ceph-radosgw |
3.4 初始化 mon
在初始化集群的过程中已经指定了mon的节点,现在需要对mon进行初始化,在ceph1节点的/usr/local/ceph-cluster目录下执行如下命令进行初始化:
1 | ceph-deploy mon create-initial |
初始化完成后,会在当前目录下生成各个组件需要的key文件:
1 | [root@ceph1 ceph-cluster]# ll |
接下来将admin用户的key文件拷贝给各个osd节点,如果为了在ceph1节点中使用ceph命令查看集群状态,那么也需要将key文件拷贝给ceph1节点(ceph1节点需要安装ceph包)
1 | ceph-deploy admin ceph1 ceph2 ceph3 |
拷贝完成后执行ceph -s命令可以查看到当前集群的状态:
1 | [root@ceph1 ceph-cluster]# ceph -s |
可以看到当前集群中已经有一个mon节点。
3.5 安装mgr进程
配置ceph1节点作为mgr,在ceph1节点的/usr/local/ceph-cluster目录下执行如下命令:
1 | ceph-deploy mgr create ceph1 |
查看集群状态,可以看到启动了一个mgr daemon:
1 | [root@ceph1 ceph-cluster]# ceph -s |
3.6 部署OSD节点
当前环境中,每个OSD节点都有一块未分配的空的sdb磁盘 ,信息如下:
1 | [root@ceph-node1 ~]# lsblk |
接下来将每个OSD节点上的sdb磁盘加入到ceph集群中,命令如下:
1 | for host in 1 2 3 |
ceph-deploy disk zap命令用于将目标磁盘的分区表和内容擦除,实际上它是调用/bin/dd
if=/dev/zero of=/dev/sdb bs=1M count=10,这里需要注意是磁盘必须为空的,没有分配的
conv=fsync命令来销毁GPT和MBR。如果目标磁盘是未被分区的,可以不使用该命令。
执行完上面的命令sdb磁盘变成这样:
1 | sdb |
此时查看ceph集群的状态,可以看到有三个OSD已经被加入到集群中:
1 | [root@ceph1 ceph-cluster]# ceph -s |
3.7 扩展mon和mgr节点
mon和mgr是ceph集群中非常重要的组件,其中mon作为整个集群的控制中心,里面存放着集群的信息,所以需要确保mon和mgr处于高可用的状态,为了保证选举正常,节点数要为奇数。
3.7.1 扩容mon节点
首先将ceph2和ceph3扩容为mon节点:
1 | ceph-deploy mon add ceph2 |
扩容完成后查看集群状态:
1 | [root@ceph1 ceph-cluster]# ceph -s |
3.7.2 扩容mgr节点
接下来扩容mgr节点,命令如下:
1 | ceph-deploy mgr create ceph2 ceph3 |
查看集群信息:
1 | [root@ceph1 ceph-cluster]# ceph -s |
可以看到mgr变为3个节点,其中两个节点处于standby状态。
4. 创建RBD块存储
4.1 创建pool
在ceph1节点上执行如下命令创建pool:
1 | ceph osd pool create rbd 64 64 |
第一个64代表设置的pg数量,第二个64代表设置的pgp数量
使用如下命令查看当前已有的pool:
1 | [root@ceph1 ~]# ceph osd lspools |
查看指定pool中的pg和pgp数量:
1 | [root@ceph1 ~]# ceph osd pool get rbd pg_num |
查看指定 pool 中的副本数(副本数默认为3):
1 | [root@ceph2 ~]# ceph osd pool get rbd size |
查看指定 pool 的调度算法(默认为replicated_rule):
1 | [root@ceph1 ~]# ceph osd pool get rbd crush_rule |
调整指定pool的pg和pgp数量:
1 | ceph osd pool set rbd pg_num 128 |
调整指定pool的副本数:
1 | ceph osd pool set rbd size 2 |
一般来说,创建pool后,需要对这个pool进行初始化,例如用于rbd块存储的pool使用rbd > > pool init命令就可以将指定pool初始化为rbd类型的application。如果不进行这个初始化的> 操作,不会影响存储的使用,但是会在集群信息中显示报警信息。
5. 创建RGW对象存储
5.1. 创建RGW
在ceph1节点的/usr/local/ceph-cluster目录下执行如下命令创建RGW:
ceph-deploy rgw create ceph1 ceph2 ceph3
执行完成后查看集群信息,可以看到已经启用了三个RGW:
1 | [root@ceph1 ceph-cluster]# ceph -s |
在ceph1、ceph2、ceph3节点上查看RGW监听的端口(默认为 7480):
netstat -anplut | grep 7480
1 | netstat -anplut | grep 7480 |
5.2. RGW多节点代理
配置RGW多节点代理:
1 | yum -y install nginx |
5.3. 创建访问S3的用户
创建的用户有两种,一种是兼容S3风格,还有一种是Swift风格。
5.3.1 创建访问S3的用户
使用如下命令创建一个用于访问S3的用户:
1 | radosgw-admin user create --uid emr-s3-user --display-name "EMR S3 User Demo" |
命令执行后会输出如下结果:
1 | { |
上面的内容中显示了用户的key信息以及一些用户的配额信息。以上的信息也可以通过如下命令再次输出:
1 | radosgw-admin user info --uid emr-s3-user |
5.3.2 测试s3接口访问
使用python程序来测试s3接口的访问,首先安装名为名称为:python-boto的python包:
1 | yum -y install python-boto |
创建名为s3test.py的文件,内容如下:
1 | import boto.s3.connection |
需要注意的是,要将程序中的access_key和secret_key修改为前面生成用户的相关信息。host 需要修改为Nginx服务的地址,port修改为相应代理端口。
执行这个python程序,会输出如下信息:
1 | [root@ceph1 ~]# python s3test.py |
这代表成功创建一个bucket。
5.4 使用命令行工具访问s3接口
5.4.1 使用命令行工具访问s3接口配置s3cmd
在命令行中调用s3接口来管理对象存储,首先需要安装s3cmd软件包:
1 | yum -y install s3cmd |
安装完成后需要对s3cmd进行配置,配置过程如下:
1 | s3cmd --configure |
配置完成后,配置文件存储在/root/.s3cfg文件中,需要将该文件中的signature_v2 配置项改为True,否则在后续执行命令的时候会触发 ERROR: S3 error: 403 (SignatureDoesNotMatch) 报错:
1 | signature_v2 = True |
保存退出后,就可以使 s3cmd命令来管理对象存储,首先使用如下命令查看当前的bucket:
1 | [root@ceph1 ~]# s3cmd ls |
创建一个新的bucket:
1 | [root@ceph1 ~]# s3cmd mb s3://emr-s3-demo |
5.4.2 上传文件
将本地的/etc/fstab文件上传到对象存储中,并将存储的名称修改为fstab-demo:
1 | [root@ceph1 ~]# s3cmd put /etc/fstab s3://emr-s3-demo/fstab-demo |
这样Ceph分布式集群安装配置就完成了,我们下篇文章再讲如何用Spark读写Ceph S3
6. 参考
- http://www.soolco.com/post/89854_1_1.html
- https://www.cnblogs.com/flytor/p/11380026.html
- https://blog.csdn.net/inrgihc/article/details/112005710
- https://www.cnblogs.com/freeitlzx/p/11281763.html
问题解决
主要是hostname导致的问题,因为我是在现有的HDP环境下安装的Ceph,而且已经配过了hosts和hostname,但是我不想用已有的hostname,我在/etc/hosts文件里新添加了ceph的host配置,但是没有修改hostname,这样就导致了问题的发生。
问题出现在命令
1 | ceph-deploy mon create-initial |
报错:
1 | ceph1][INFO ] Running command: ceph --cluster=ceph --admin-daemon /var/run/ceph/ceph-mon.ceph1.asok mon_status |
报没有文件/var/run/ceph/ceph-mon.ceph1.asok,那么我们看一下路径下有什么
1 | ls /var/run/ceph/ |
发现是有asok文件的,但是名字不一样,名字是和配的旧的host一致
尝试解决思路:
修改/etc/hosts配置顺序
将ceph的host放在最前面,该思路无效,和顺序无关
用旧的host重新ceph-deploy
1 | ceph-deploy new --public-network 192.168.44.0/24 --cluster-network 192.168.44.0/24 indata-192-168-44-128 |
然后再执行
1 | ceph-deploy --overwrite-conf mon create-initial |
但是会报错:
1 | [ceph_deploy.mon][WARNIN] mon.indata-192-168-44-128 monitor is not yet in quorum, tries left: 5 |
原因是mons名称不一致,因为ceph-mon.indata-192-168-44-128.asok是通过ceph1创建的,所以它里面的内容也是ceph1,而不是indata-192-168-44-128
1 | "mons": [ |
那么我们需要重新生成asok,但是asok是在什么条件下生成的呢(只删asok是不行的),执行下面的命令就可以(捣鼓了半天,没有资料,有点坑~)
1 | sudo rm -r /var/lib/ceph/mon/ |
这样就会重新生成,再用命令验证一下看内容是否变了,然后再执行ceph-deploy –overwrite-conf mon create-initial果然成功了,但是这样是用的旧的hostname,我还是想用ceph1试一下,因为上面已经搞懂了怎么重新生成asok
首先删除一些生成的文件
1 | sudo rm -r /usr/local/ceph-cluster/* |
然后修改各个节点的hostname
1 | hostnamectl set-hostname ceph1.bigdata.com |
这样重新生成的asok文件名就为ceph-mon.ceph1.asok了
然后再重新执行命令:
1 | ceph-deploy new --public-network 192.168.44.0/24 --cluster-network 192.168.44.0/24 ceph1 |
这样问题就解决了,另外/etc/ceph下面也有ceph相关的配置文件,如果我们一开始不懂,把这个文件夹删了,我们需要手动创建该文件夹,然后重新执行上面的命令就可以了