基于puppet分布式集群管理公有云多租户的架构浅谈

一、架构介绍

基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP

  在此架构中,每个租户的业务集群部署一台puppet-master作为自己所在业务集群的puppet的主服务器,在每个业务集群所拥有的云主机上部署puppet-agent,定时向puppet-master进行汇报从而执行相应任务。foreman单独部署,接收每个业务集群中puppet-master收集到的puppet-agent服务器所报告的信息。foreman收集到的数据存至MySQL数据库中,并进行前端展示。其中mysql数据库使用公有云的mysql数据库资源。

  对于每个租户的业务集群中puppet-master的容灾,可以通过购买云硬盘来实现。将云硬盘挂载至puppet-master上,将puppet-master上配置和证书相关文件放在云硬盘上,一旦puppet-master服务器故障,只要重新部署一台puppet-master服务器,将云硬盘挂载至相应目录,即可恢复服务

  对于foreman的容灾,由于foreman的证书是由puppet-master生成的,因此当foreman发生故障时,只要创建一台云主机,将foreman的证书从puppet-master上放置到foreman相应目录中,重新部署foreman服务器并将DNS解析至当前foreman服务器即可解决故障


二、效果展示

1、多租户代理

基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP

2、puppet-master和puppet-agent运行情况展示

基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP


三、部署步骤

资源分配如下:

foreman服务器foreman.sre.com114.67.1.2
puppet-master-业务集群1服务器puppetmasterarea1.sre.com114.67.2.2
puppet-master-业务集群2服务器puppetmasterarea2.sre.com114.67.3.2
puppet-master-业务集群3服务器puppetmasterarea3.sre.com114.67.4.2

1、设置puppetmaster主服务器的yum 源

1)安装puppet5.x的yum源

     #yum -y install https://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm*

2)安装EPEL

   # yum -y install http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
   # yum -y install https://yum.theforeman.org/releases/1.16/el7/x86_64/foreman-release.rpm

3)安装foreman-install

# yum -y install foreman-installer

2、停机制作镜像

  停止上一步部署安装好foreman-install的puppetmaster主服务器,制作镜像(这里的镜像名为puppet_cluster)

  这样做的原因:foreman-install 安装的时候默认将自己作为ca从而进行认证,在安装过程中会生成认证相关的一堆文件。利用公有云平台的优势,在安装好foreman-install之后(此时ca相关证书文件已经生成),将此时的机器做一个镜像,可以保证以后使用此镜像安装的虚拟机都能够生成相同的证书,解决了证书不统一的问题

3、安装foreman

1)用centos7.3的镜像创建一台云主机

2)在puppet-master-业务集群1服务器上生成foreman对应的证书,并将证书放置到foreman服务器上

 # /opt/puppetlabs/bin/puppet cert generate foreman.sre.com
 # scp /etc/puppetlabs/puppet/ssl/certs/ca.pem [email protected]:/etc/puppetlabs/puppet/ssl/certs/
 # scp /etc/puppetlabs/puppet/ssl/certs/foreman.sre.com [email protected]:/etc/puppetlabs/puppet/ssl/certs/
 # scp /etc/puppetlabs/puppet/ssl/private_keys/foreman.sre.com [email protected]:/etc/puppetlabs/puppet/ssl/private_keys/
 # scp /etc/puppetlabs/puppet/ssl/crl.pem [email protected]:/etc/puppetlabs/puppet/ssl/

3)在foreman服务器上安装yum源及foreman-install

   # yum -y install https://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm
   # yum -y install http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
   # yum -y install https://yum.theforeman.org/releases/1.16/el7/x86_64/foreman-release.rp
   # yum -y install foreman-installer

4)安装foreman

由于在foreman安装的时候没有安装puppet-master相关模块,为解决依赖需要先创建一个puppet组

# groupadd puppet
下面是安装命令:
 foreman-installer \
  --foreman-db-type=mysql \
  --foreman-db-manage=false \
  --foreman-db-host=数据库地址 \
  --foreman-db-database=数据库名 \
  --foreman-db-username= 数据库用户名\
  --foreman-db-password= 数据库密码\
  --no-enable-foreman-proxy \
  --no-enable-puppet \
  --puppet-server-ca=false \
  --foreman-proxy-puppetca=false \
  --foreman-proxy-oauth-consumer-key=/etc/puppetlabs/puppet/ssl/ \
  --foreman-proxy-oauth-consumer-secret=/etc/puppetlabs/puppet/ssl/

5)登录验证

此时foreman已经安装成功,这时就可以通过 https://foreman.sre.com 登录到foreman的web页面进行查看。用户名密码在成功安装之后打印在页面上

4、安装配置puppet-master服务器

这里以puppet-master-业务集群1服务器为例

1)为puppet-master挂载额外磁盘(这里在公有云上购买了一块100G的硬盘,在公有云平台上操作挂载至此主机上)

a)备份原有目录并创建挂载点目录

# mv /etc/puppetlabs /etc/puppetlabs.bak
# mkdir /etc/puppetlabs

b)分区、格式化并挂载

# fdisk -l
# fdisk /dev/vdb (这里只创建了一个主分区,创建好之后保存)
# mkfs -t ext4 /dev/vdb1
# mount -t ext4 /dev/vdb1 /etc/puppetlabs

c)设置开机自动挂载

# blkid /dev/vdb1(获得此分区的uuid)
# vim /etc/fstab

d)将原有puppet配置文件放置到云硬盘上

# cp /etc/puppetlabs.bak/* /etc/puppetlabs/

云硬盘使用参考文档

2)使用foreman-install安装配置puppet-master:

foreman-installer \
      --no-enable-foreman \
      --no-enable-foreman-cli \
      --no-enable-foreman-plugin-bootdisk \
      --no-enable-foreman-plugin-setup \
      --enable-puppet \
      --puppet-server-foreman-url=https://foreman.sre.com \
      --enable-foreman-proxy \
      --foreman-proxy-tftp=false \
      --foreman-proxy-foreman-base-url=https://foreman.sre.com \
      --foreman-proxy-trusted-hosts=foreman.sre.com

在此安装中未安装foreman相关组件,安装了puppet和foreman-proxy相关组件

5、安装配置puppet客户端

1)安装最新的puppet的yum源及puppet-agent,并将puppet和防火墙设置为开机自启动

# yum -y install http://yum.puppetlabs.com/puppet5/puppet5-release-el-7.noarch.rpm
# yum -y install puppet-agent
# systemctl enable puppet.service
# systemctl start NetworkManager
# systemctl enable NetworkManager

2)编辑配置文件,添加如下内容

# /etc/puppetlabs/puppet/puppet.conf
      runinterval = 1800
      listen = true
      report = true
      server = puppetmasterarea1.sre.com

3)请求证书并在puppet-master授权

puppet-agent 端执行如下命令:

# puppet agent -t

puppet-master端执行如下命令:

# puppet cert sign --all

4)启动puppet服务

# systemctl start puppet.service

6、将puppet-master加入到foreman的代理中去

1)访问

2)点击:架构–>智能代理

基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP

3)点击Create Smart Proxy,填写名称和foreman-proxy的地址,并提交

4)此后,puppet-agent执行后向puppet-master汇报的数据就可以通过foreman展示出来了,结果如下:

到此为止,foreman+mysql+puppet分业务集群架构部署已经完成,可以正常使用!
基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP


四、故障切换

1、foreman服务器故障

  当foreman服务器发生故障时,只要重新创建一台虚拟机,按照步骤二中foreman部署相关步骤操作重新部署一次,然后将foreman.sre.com的域名解析到当前foreman服务器的ip,就可以正常使用了

2、puppet-master故障

  当puppet-master发生故障时,我们首先需要将故障的puppet-master服务器所挂载的云硬盘通过在公有云平台上操作卸载掉,然后执行以下操作:

1)使用在步骤二中部署时停机制作的镜像puppet_master新建一台云主机

2)将故障puppet-master的DNS解析更改至当前新建的云主机ip

3)使用foreman-install安装配置puppet-master

foreman-installer \
  --no-enable-foreman \
  --no-enable-foreman-cli \
  --no-enable-foreman-plugin-bootdisk \
  --no-enable-foreman-plugin-setup \
  --enable-puppet \
  --puppet-server-foreman-url=https://foreman.sre.name \
  --enable-foreman-proxy \
  --foreman-proxy-tftp=false \
  --foreman-proxy-foreman-base-url=https://foreman.sre.name \
  --foreman-proxy-trusted-hosts=foreman.sre.name

4)为puppet-master挂载故障puppet-master所使用过的云硬盘

a)备份原有目录并创建挂载点目录

# mv /etc/puppetlabs /etc/puppetlabs.bak
# mkdir /etc/puppetlabs

b)手工挂载云硬盘

# mount -t ext4 /dev/vdb1 /etc/puppetlabs

c)设置开机自动挂载

# blkid /dev/vdb1(获得此分区的uuid)
# vim /etc/fstab

基于puppet分布式集群管理公有云多租户的架构浅谈-LMLPHP
至此,故障已恢复正常!

04-21 04:40