基于puppet分布式集群管理公有云多租户的架构浅谈
一、架构介绍
在此架构中,每个租户的业务集群部署一台puppet-master作为自己所在业务集群的puppet的主服务器,在每个业务集群所拥有的云主机上部署puppet-agent,定时向puppet-master进行汇报从而执行相应任务。foreman单独部署,接收每个业务集群中puppet-master收集到的puppet-agent服务器所报告的信息。foreman收集到的数据存至MySQL数据库中,并进行前端展示。其中mysql数据库使用公有云的mysql数据库资源。
对于每个租户的业务集群中puppet-master的容灾,可以通过购买云硬盘来实现。将云硬盘挂载至puppet-master上,将puppet-master上配置和证书相关文件放在云硬盘上,一旦puppet-master服务器故障,只要重新部署一台puppet-master服务器,将云硬盘挂载至相应目录,即可恢复服务
对于foreman的容灾,由于foreman的证书是由puppet-master生成的,因此当foreman发生故障时,只要创建一台云主机,将foreman的证书从puppet-master上放置到foreman相应目录中,重新部署foreman服务器并将DNS解析至当前foreman服务器即可解决故障
二、效果展示
1、多租户代理
2、puppet-master和puppet-agent运行情况展示
三、部署步骤
资源分配如下:
foreman服务器 | foreman.sre.com | 114.67.1.2 |
puppet-master-业务集群1服务器 | puppetmasterarea1.sre.com | 114.67.2.2 |
puppet-master-业务集群2服务器 | puppetmasterarea2.sre.com | 114.67.3.2 |
puppet-master-业务集群3服务器 | puppetmasterarea3.sre.com | 114.67.4.2 |
1、设置puppetmaster主服务器的yum 源
1)安装puppet5.x的yum源
#yum -y install https://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm*
2)安装EPEL
# yum -y install http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
# yum -y install https://yum.theforeman.org/releases/1.16/el7/x86_64/foreman-release.rpm
3)安装foreman-install
# yum -y install foreman-installer
2、停机制作镜像
停止上一步部署安装好foreman-install的puppetmaster主服务器,制作镜像(这里的镜像名为puppet_cluster)
这样做的原因:foreman-install 安装的时候默认将自己作为ca从而进行认证,在安装过程中会生成认证相关的一堆文件。利用公有云平台的优势,在安装好foreman-install之后(此时ca相关证书文件已经生成),将此时的机器做一个镜像,可以保证以后使用此镜像安装的虚拟机都能够生成相同的证书,解决了证书不统一的问题
3、安装foreman
1)用centos7.3的镜像创建一台云主机
2)在puppet-master-业务集群1服务器上生成foreman对应的证书,并将证书放置到foreman服务器上
# /opt/puppetlabs/bin/puppet cert generate foreman.sre.com
# scp /etc/puppetlabs/puppet/ssl/certs/ca.pem [email protected]:/etc/puppetlabs/puppet/ssl/certs/
# scp /etc/puppetlabs/puppet/ssl/certs/foreman.sre.com [email protected]:/etc/puppetlabs/puppet/ssl/certs/
# scp /etc/puppetlabs/puppet/ssl/private_keys/foreman.sre.com [email protected]:/etc/puppetlabs/puppet/ssl/private_keys/
# scp /etc/puppetlabs/puppet/ssl/crl.pem [email protected]:/etc/puppetlabs/puppet/ssl/
3)在foreman服务器上安装yum源及foreman-install
# yum -y install https://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm
# yum -y install http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
# yum -y install https://yum.theforeman.org/releases/1.16/el7/x86_64/foreman-release.rp
# yum -y install foreman-installer
4)安装foreman
由于在foreman安装的时候没有安装puppet-master相关模块,为解决依赖需要先创建一个puppet组
# groupadd puppet
下面是安装命令:
foreman-installer \
--foreman-db-type=mysql \
--foreman-db-manage=false \
--foreman-db-host=数据库地址 \
--foreman-db-database=数据库名 \
--foreman-db-username= 数据库用户名\
--foreman-db-password= 数据库密码\
--no-enable-foreman-proxy \
--no-enable-puppet \
--puppet-server-ca=false \
--foreman-proxy-puppetca=false \
--foreman-proxy-oauth-consumer-key=/etc/puppetlabs/puppet/ssl/ \
--foreman-proxy-oauth-consumer-secret=/etc/puppetlabs/puppet/ssl/
5)登录验证
此时foreman已经安装成功,这时就可以通过 https://foreman.sre.com 登录到foreman的web页面进行查看。用户名密码在成功安装之后打印在页面上
4、安装配置puppet-master服务器
这里以puppet-master-业务集群1服务器为例
1)为puppet-master挂载额外磁盘(这里在公有云上购买了一块100G的硬盘,在公有云平台上操作挂载至此主机上)
a)备份原有目录并创建挂载点目录
# mv /etc/puppetlabs /etc/puppetlabs.bak
# mkdir /etc/puppetlabs
b)分区、格式化并挂载
# fdisk -l
# fdisk /dev/vdb (这里只创建了一个主分区,创建好之后保存)
# mkfs -t ext4 /dev/vdb1
# mount -t ext4 /dev/vdb1 /etc/puppetlabs
c)设置开机自动挂载
# blkid /dev/vdb1(获得此分区的uuid)
# vim /etc/fstab
d)将原有puppet配置文件放置到云硬盘上
# cp /etc/puppetlabs.bak/* /etc/puppetlabs/
2)使用foreman-install安装配置puppet-master:
foreman-installer \
--no-enable-foreman \
--no-enable-foreman-cli \
--no-enable-foreman-plugin-bootdisk \
--no-enable-foreman-plugin-setup \
--enable-puppet \
--puppet-server-foreman-url=https://foreman.sre.com \
--enable-foreman-proxy \
--foreman-proxy-tftp=false \
--foreman-proxy-foreman-base-url=https://foreman.sre.com \
--foreman-proxy-trusted-hosts=foreman.sre.com
在此安装中未安装foreman相关组件,安装了puppet和foreman-proxy相关组件
5、安装配置puppet客户端
1)安装最新的puppet的yum源及puppet-agent,并将puppet和防火墙设置为开机自启动
# yum -y install http://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm
# yum -y install puppet-agent
# systemctl enable puppet.service
# systemctl start NetworkManager
# systemctl enable NetworkManager
2)编辑配置文件,添加如下内容
# /etc/puppetlabs/puppet/puppet.conf
runinterval = 1800
listen = true
report = true
server = puppetmasterarea1.sre.com
3)请求证书并在puppet-master授权
puppet-agent 端执行如下命令:
# puppet agent -t
puppet-master端执行如下命令:
# puppet cert sign --all
4)启动puppet服务
# systemctl start puppet.service
6、将puppet-master加入到foreman的代理中去
1)访问
2)点击:架构–>智能代理
3)点击Create Smart Proxy,填写名称和foreman-proxy的地址,并提交
4)此后,puppet-agent执行后向puppet-master汇报的数据就可以通过foreman展示出来了,结果如下:
到此为止,foreman+mysql+puppet分业务集群架构部署已经完成,可以正常使用!
四、故障切换
1、foreman服务器故障
当foreman服务器发生故障时,只要重新创建一台虚拟机,按照步骤二中foreman部署相关步骤操作重新部署一次,然后将foreman.sre.com的域名解析到当前foreman服务器的ip,就可以正常使用了
2、puppet-master故障
当puppet-master发生故障时,我们首先需要将故障的puppet-master服务器所挂载的云硬盘通过在公有云平台上操作卸载掉,然后执行以下操作:
1)使用在步骤二中部署时停机制作的镜像puppet_master新建一台云主机
2)将故障puppet-master的DNS解析更改至当前新建的云主机ip
3)使用foreman-install安装配置puppet-master
foreman-installer \
--no-enable-foreman \
--no-enable-foreman-cli \
--no-enable-foreman-plugin-bootdisk \
--no-enable-foreman-plugin-setup \
--enable-puppet \
--puppet-server-foreman-url=https://foreman.sre.name \
--enable-foreman-proxy \
--foreman-proxy-tftp=false \
--foreman-proxy-foreman-base-url=https://foreman.sre.name \
--foreman-proxy-trusted-hosts=foreman.sre.name
4)为puppet-master挂载故障puppet-master所使用过的云硬盘
a)备份原有目录并创建挂载点目录
# mv /etc/puppetlabs /etc/puppetlabs.bak
# mkdir /etc/puppetlabs
b)手工挂载云硬盘
# mount -t ext4 /dev/vdb1 /etc/puppetlabs
c)设置开机自动挂载
# blkid /dev/vdb1(获得此分区的uuid)
# vim /etc/fstab
至此,故障已恢复正常!