一键部署 Docker Datacenter ---简化docker数据中心安装步骤

DDC 简介

2016年2月下旬，Docker发布了企业级容器管理和服务部署的整体解决方案平台－Docker Datacenter，简称DDC。DDC 有三个组件构成：
1. Docker Universal Control Plane(Docker UCP)，这是套图形化管理界面；
2. Docker Trusted Registry（DTR），授信的Docker镜像仓库；
3. Docker Engine商业版，提供技术支持的Docker引擎。

DDC在Docker官网地址是：http://www.docker.com/products/docker-datacenter#

DDC 与Docker公司的另外一个在线产品 Docker Cloud 对应。不过DDC主要针对企业用户在内部部署。用户注册自己的Dokcer镜像到DTR，UCP管理整个Docker集群。并且这两个组件都提供了Web界面。

使用DDC需要购买Licence， 但是Docker公司提供了一个月的试用Licence，可以在Docker官网注册后直接下载。

DDC 一键部署

说了这么多，到底如何部署DDC的环境呢？有一个简单的方式，就是使用阿里云的ROS。通过下面的链接一键部署，就可以做到分分钟创建一套DDC。

一键部署>>>

点击一键部署后，默认会在华北2 region 部署 DDC。 如果你需要调整region，请点击页面右下角的【上一步】，然后重新选择region，接着点击【下一步】，你只需要填入如下图中必填的信息或者根据你的需求调整信息后，点击【创建】按钮就可以部署一套 DDC。

DDC 访问

当ROS创建DDC成功后，怎么登录UCP系统，可以进入ROS的栈管理页面，查看刚才创建的栈的概要信息，这里面输出了登录UCP和DTR的地址，如图：

在浏览器中输入红框中的地址就会显示UCP的访问页面，这时输入在安装UCP时创建的管理账号和密码就可以登录进去，接着会提示输入导入Licence文件，请把准备好的Licence导入，就可以进入UCP的控制界面了：

DDC 部署细节

接下来将主要介绍如何通过阿里云的ROS一键部署DDC环境。

ROS部署的DDC架构图

在上面的基础架构图里面，Controller主要运行UCP组件，DTR运行的就是DTR组件， Worker主要运行客户自己的Docker服务。整个DDC环境都部署在VPC网络之下，所有的ECS加入同一个安全组。每个组件都提供了一个SLB，供外网访问。而运维操作则是通过跳板机实现。另一方面为了提升可用性，整个DDC环境都是高可用部署，也就是说Controller至少有两台，同理DTR也至少有两台。

ROS部署细节介绍

下面详细介绍如何通过ROS模板创建阿里云资源并通过ROS的UserData功能部署DDC环境。

1. 基础资源和网络环境配置

按照上面的架构图，所有节点都在VPC网络中，所以首先使用ROS的ALIYUN::ECS::Vpc, ALIYUN::ECS::VSwitch资源创建DDC的VPC网络。VPC网络和外网是相互隔离的，由于DDC环境的部署需要在线安装Docker Engine，UCP，DTR，所以我们需要配置VPC网络环境使内部节点能够访问外网，同时运维也能访问到VPC中节点。VPC网络的配置只需要用到ALIYUN::ECS::NatGateWay, ALIYUN::ECS::BandwidthPackage, ALIYUN::ECS::SNatEntry和ALIYUN::ECS::ForwardEntry这四个资源来搞定。并且在VPC网络中提供一台跳板机通过ALIYUN::ECS::ForwardEntry对外暴露22端口。详细的VPC网络配置大家可以参考这篇文章《新玩法，ROS帮你一键搭建NatGateway让VPC与Internet的互访》。

由于所有的节点都在一个VPC网络中，所以只需要创建一个安全组，把所有的机器加入，开放所需端口，在这里如规则开放了22，80，443，2377端口，出规则全部开放。安全组的创建以及所有的配置只需使用ALIYUN::ECS::SecurityGroup资源即可。

2. 部署UCP

部署需要的资源

UCP组件会在至少两台机器上运行，以便提供高可用，一台是master节点，一台是slave。同时它们挂载到一个SLB，用户通过SLB的公网IP访问UCP Web。SLB监听80，443和2377端口。由于master节点需要生成其他节点加入DDC时的token，所以ROS会首先创建一个master ECS并且使用UserData在master ECS启动的时候部署安装UCP组件，然后生成所需token 并记录token信息。接着再创建多个slave节点，使用UserData给slave节点部署UCP组件，并加入DDC环境，和master组成高可用UCP应用。ROS使用了ALIYUN::ECS::Instance创建master节点；使用ALIYUN::ECS::InstanceGroup创建多个slave节点；并通过这两个ALIYUN::ROS::WaitCondition和ALIYUN::ROS::WaitConditionHandle来监控UserData的执行情况和获取执行结果

当UCP节点创建完成后，都会挂载到SLB，创建，配置SLB以及挂载所有的UCP节点使用了这三个资源：
，ALIYUN::SLB::LoadBalancer 创建SLB实例，ALIYUN::SLB::Listener 配置SLB监听那些端口， 
ALIYUN::SLB::BackendServerAttachment 把UCP节点加入到SLB监听列表中。

部署安装UCP的UserData脚本主要命令

首先设置Docker软件包秘钥

curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import

添加阿里云的Docker源能够确保成功拉取Docker Engine安装包

echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list

安装Docker

curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh

配置拉取UCP镜像的Mirror

echo DOCKER_OPTS='--registry-mirror https://6udu7vtl.mirror.aliyuncs.com' > /etc/default/docker

安装UCP，这个命令只需在master节点执行

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip

UCP install的参数解释：

• --debug 打开debug查看详细的安装信息
• --host-address 其他节点通过哪个IP访问UCP
• --admin-username 设置UCP的管理账号
• --admin-password 设置管理账号的密码
• --san 指定那些IP或域名能够通过UCP的认证，这里添加了两个，一个是本机IP，一个是SLB的公网IP。这里必须写上SLB的IP地址，因为访问DTR的时候，会redirect到UCP做认证。如果不指定的话，就会直接使用私网IP，这时候必定访问失败。

根据生成token，-q参数控制生成manager或worker类型的token

docker swarm join-token -q manager

如果是slave节点，则安装UCP的命令只需替换成下面的命令即可

docker swarm join --token=$token ${ucp_controller_ip}:2377

token 就是Master节点生成的token

ucp_controller_ip 是安装master节点是指定的 --host-address

详细ROS模板的UCP节点资源定义

"Controller": {

      "DependsOn": "SNatEntry",

      "Properties": {

        "AllocatePublicIP": "false",

        "ImageId": {

          "Ref": "ControllerImageId"

        },

        "InstanceType": {

          "Ref": "ControllerInstanceType"

        },

        "IoOptimized": {

          "Ref": "ControllerIoOptimized"

        },

        "Password": {

          "Ref": "InstancePassword"

        },

        "SecurityGroupId": {

          "Fn::GetAtt": [

            "DefaultSecurityGroup",

            "SecurityGroupId"

          ]

        },

        "SystemDiskCategory": {

          "Ref": "ControllerSystemDiskCategory"

        },

        "UserData": {

          "Fn::Replace": [

            {

              "ros-notify": {

                "Fn::GetAtt": [

                  "ControllerConditionHandle",

                  "CurlCli"

                ]

              }

            },

            {

              "Fn::Join": [

                "",

                [

                  "#!/bin/sh\n",

                  "ucp_admin_username='",

                  {

                      "Ref": "UCPAdminUserName"

                  },

                  "'\n",

                  "ucp_admin_password='",

                  {

                      "Ref": "UCPAdminPassword"

                  },

                  "'\n",

                  "controller_slb_ip='",

                  {

                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]

                  },

                  "'\n",

                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",

                  "host_name=`hostname`\n",

                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",

                  "apt-get update\n",

                  "apt-get install -y apt-transport-https\n",

                  "apt-get install -y linux-image-extra-virtual\n",

                  "apt-get install -y curl\n",

                  "apt-get install -y unzip\n",

                  "apt-get install -y jq\n",

                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",

                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",

                  "# Installing Docker\n",

                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",

                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",

                  "sudo service docker restart\n",

                  "usermod -aG docker $USER\n",

                  "docker run --rm -v /var/run/docker.sock:/var/run/docker.sock  --name ucp docker/ucp install --debug --host-address  $ip_addr --admin-username $ucp_admin_username --admin-password $ucp_admin_password --san $ip_addr --san $controller_slb_ip\n",

                  "worker_token=`docker swarm join-token -q worker`\n",

                  "manager_token=`docker swarm join-token -q manager`\n",

                  "echo $worker_token, $manager_token > /tmp/tokens\n",

                  "cmd=\"ros-notify -d '{\\\"id\\\" : \\\"tokens\\\", \\\"data\\\" : [\\\"$worker_token\\\", \\\"$manager_token\\\"]}'\"\n",

                  "eval $cmd\n"

                ]

              ]

            }

          ]

        },

        "VSwitchId": {

          "Ref": "PubSubnet"

        },

        "VpcId": {

          "Ref": "Vpc"

        }

      },

      "Type": "ALIYUN::ECS::Instance"

    }

3. 部署DTR

DTR和UCP组件一样也是高可用部署，但是DTR没有master和slave节点之分，ROS可以直接使用ALIYUN::ECS::InstanceGroup一次创建多台DTR节点，当DTR节点启动时，执行UserData脚本部署DTR应用。同时所有的DTR节点挂载自己独立的SLB，SLB监听443，用户通过使用SLB的公网IP直接访问DTR Web页面。

DTR的安装和UCP的类似，只需要把安装UCP的命令换成下面这两个命令即可：

首先要加入DDC和UCP slave节点的命令一样

docker swarm join --token=$token ${ucp_controller_ip}:2377

安装DTR

docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log,

DTR install的参数：

• --debug 打开debug开关，查看安装的详细信息
• --ucp-url 指定UCP的访问地址，这里使用UCP SLB的公网IP
• --ucp-node 指定安装DTR的机器名
• --dtr-external-url 供外部访问DTR的URL，指定DTR SLB的公网IP
• --ucp-username UCP的管理员账号
• --ucp-password UCP的管理员账号的密码
• --ucp-insecure-tls 给UCP关闭TLS验证

详细ROS模板的DTR 资源定义

    "DTRNode": {

      "DependsOn": "Controller",

      "Properties": {

        "AllocatePublicIP": "false",

        "ImageId": {

          "Ref": "DTRImageId"

        },

        "InstanceType": {

          "Ref": "DTRInstanceType"

        },

        "IoOptimized": {

          "Ref": "DTRIoOptimized"

        },

        "MaxAmount": {

            "Ref" : "DTRMaxAmount"

        },

        "MinAmount": {

            "Ref" : "DTRMaxAmount"

        },

        "Password": {

          "Ref": "InstancePassword"

        },

        "SecurityGroupId": {

          "Fn::GetAtt": [

            "DefaultSecurityGroup",

            "SecurityGroupId"

          ]

        },

        "SystemDiskCategory": {

          "Ref": "DTRSystemDiskCategory"

        },

        "VSwitchId": {

          "Ref": "PubSubnet"

        },

        "VpcId": {

          "Ref": "Vpc"

        },

        "UserData": {

          "Fn::Replace": [

            {

              "ros-notify": {

                "Fn::GetAtt": [

                  "DTRConditionHandle",

                  "CurlCli"

                ]

              }

            },

            {

              "Fn::Join": [

                "",

                [

                  "#!/bin/sh\n",

                  "ucp_admin_username='",

                  {

                      "Ref": "UCPAdminUserName"

                  },

                  "'\n",

                  "ucp_admin_password='",

                  {

                      "Ref": "UCPAdminPassword"

                  },

                  "'\n",

                  "tokens='",

                  {

                    "Fn::GetAtt": [

                      "ControllerWaitCondition",

                      "Data"

                    ]

                  },

                  "'\n",

                  "ucp_controller_ip='",

                  {

                    "Fn::GetAtt": [

                      "Controller",

                      "PrivateIp"

                    ]

                  },

                  "'\n",

                  "controller_slb_ip='",

                  {

                      "Fn::GetAtt": ["ControllerLoadBalancer", "IpAddress"]

                  },

                  "'\n",

                  "dtr_slb_ip='",

                  {

                      "Fn::GetAtt": ["DTRLoadBalancer", "IpAddress"]

                  },

                  "'\n",

                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",

                  "host_name=`hostname`\n",

                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",

                  "apt-get update\n",

                  "apt-get install -y apt-transport-https\n",

                  "apt-get install -y linux-image-extra-virtual\n",

                  "apt-get install -y curl\n",

                  "apt-get install -y unzip\n",

                  "apt-get install -y jq\n",

                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",

                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",

                  "# Installing Docker\n",

                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",

                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",

                  "service docker restart\n",

                  "usermod -aG docker $USER\n",

                  "echo $tokens > /tmp/tokens\n",

                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",

                  "echo $token > /tmp/worker_token \n",

                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",

                  "sleep 300\n",

                  "docker run --rm -i docker/dtr install --debug --ucp-url https://$controller_slb_ip:443 --ucp-node $host_name --dtr-external-url https://$dtr_slb_ip:443 --ucp-username $ucp_admin_username --ucp-password $ucp_admin_password --ucp-insecure-tls  | tee -a /tmp/dtr_install_log\n",

                  "echo $token > /tmp/fin_worker_token\n",

                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",

                  "eval $cmd\n"

                ]

              ]

            }

          ]

        }

      },

      "Type": "ALIYUN::ECS::InstanceGroup"

    }

4. 部署Worker节点

Worker节点是正真部署用户自己应用的节点，这些节点只需要安装Docker Engine然后加入DDC即可。Worker节点也都是部署在VPC网络，外部访问同样也需要使用SLB，在这里SLB之监听了80端口，大家后续部署的时候可以通过修改ROS模板自己添加需要监听的端口。同DTR一样，ROS使用ALIYUN::ECS::InstanceGroup一次创建多个节点，并用UserData安装Docker engine和加入DDC。

部署Worker节点使用的命令和部署UCP的slave节点一样，只不过使用的Token不同，Worker节点使用的是worker类型的token。

详细ROS模板的Worker资源定义

    "UCPNode": {

      "DependsOn": "Controller",

      "Properties": {

        "AllocatePublicIP": "false",

        "ImageId": {

          "Ref": "UCPImageId"

        },

        "InstanceType": {

          "Ref": "UCPInstanceType"

        },

        "IoOptimized": {

          "Ref": "UCPIoOptimized"

        },

        "MaxAmount": {

          "Ref": "UCPMaxAmount"

        },

        "MinAmount": {

          "Ref": "UCPMaxAmount"

        },

        "Password": {

          "Ref": "InstancePassword"

        },

        "SecurityGroupId": {

          "Fn::GetAtt": [

            "DefaultSecurityGroup",

            "SecurityGroupId"

          ]

        },

        "SystemDiskCategory": {

          "Ref": "UCPSystemDiskCategory"

        },

        "UserData": {

          "Fn::Replace": [

            {

              "ros-notify": {

                "Fn::GetAtt": [

                  "UCPConditionHandle",

                  "CurlCli"

                ]

              }

            },

            {

              "Fn::Join": [

                "",

                [

                  "#!/bin/sh\n",

                  "tokens='",

                  {

                    "Fn::GetAtt": [

                      "ControllerWaitCondition",

                      "Data"

                    ]

                  },

                  "'\n",

                  "ucp_controller_ip='",

                  {

                    "Fn::GetAtt": [

                      "Controller",

                      "PrivateIp"

                    ]

                  },

                  "'\n",

                  "ip_addr=`ifconfig eth0 | awk '/inet addr:/{print $2}' | tr -d 'addr:'`\n",

                  "host_name=`hostname`\n",

                  "sed -i 's/Acquire::http::Proxy/#Acquire::http::Proxy/' /etc/apt/apt.conf\n",

                  "apt-get update\n",

                  "apt-get install -y apt-transport-https\n",

                  "apt-get install -y linux-image-extra-virtual\n",

                  "apt-get install -y curl\n",

                  "apt-get install -y unzip\n",

                  "apt-get install -y jq\n",

                  "curl -s 'https://sks-keyservers.net/pks/lookup?op=get&search=0xee6d536cf7dc86e2d7d56f59a178ac6c6238f52e' | apt-key add --import\n",

                  "echo 'deb https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/apt/repo ubuntu-trusty main' | tee /etc/apt/sources.list.d/docker.list\n",

                  "# Installing Docker\n",

                  "curl -sSL https://acs-upload.oss-cn-qingdao.aliyuncs.com/1.12/install.sh | sh\n",

                  "echo DOCKER_OPTS=\"'--registry-mirror https://6udu7vtl.mirror.aliyuncs.com'\" > /etc/default/docker\n",

                  "service docker restart\n",

                  "usermod -aG docker $USER\n",

                  "echo $tokens > /tmp/tokens\n",

                  "token=`echo \"$tokens\" | jq '.tokens'[0] | xargs echo `\n",

                  "echo $token > /tmp/worker_token \n",

                  "cmd=\"ros-notify -d '{\\\"data\\\" : \\\"$token\\\"}'\"\n",

                  "eval $cmd\n",

                  "docker swarm join --token=$token ${ucp_controller_ip}:2377\n",

                  "echo $token > /tmp/fin_worker_token\n"

                ]

              ]

            }

          ]

        },

        "VSwitchId": {

          "Ref": "PubSubnet"

        },

        "VpcId": {

          "Ref": "Vpc"

        }

      },

      "Type": "ALIYUN::ECS::InstanceGroup"

    }

总结

大规模手工部署一个高可用的DDC环境还是有一定的复杂度，利用本文中提供的ROS模板，可以非常方便的帮你一键部署DDC环境，让你把更多的精力放在自己的业务上。