Kubernetes 动手系列想通过一系列动手的 demo ，来帮助读者快速的理解上手 Kubernetes 一些运行机制。会包括如下内容：
-
手动部署
-
开发一个 operator
-
开发 webhook
-
开发 chart 包
-
开发 scheduler
-
开发 stroagecalss
-
开发 cloud provider
-
virtual kubelet
本文要求读者对 Kubernetes 的架构和使用有基本的了解。
本文通过手工简单部署一个 K8S 集群来了解 K8S 整体的架构，以及内部组件的关系。
本文介绍的部署过程主要是为了让读者能够理解 K8S 的运行原理，为了简化流程，这里不涉及高可用、高性能等解决方案。
安装说明：
-
本文仅仅是在两个节点上部署所有的组件，如图所示包括 MASTER 和 NODE
-
所有的组件都安装在 /opt/{component} 的根目录下，包括二进制文件和配置文件
-
另外组件进程由 systemd 来管理，其配置文件在 /etc/systemd/system/{component}.service
本文所有的安装代码已经放在 https://github.com/bilc/kubernetes-deploy，供大家参考。
1 前期准备
配置环境变量文件 environment，如下，只修改 MASTER_IP 和 NODE_IP 即可。
export MASTER_IP=10.1.0.86export NODE_IP=10.1.0.87#serviceexport SERVICE_CIDR="10.254.0.0/16" #service使用的虚拟IPexport CLUSTER_KUBERNETES_SVC_IP="10.254.0.1" #apiserver的service，会被pod访问export NODE_PORT_RANGE="30000-32767" #nodeport类型的service分配的端口#for coredns & kubeletexport CLUSTER_DNS_DOMAIN="cluster.local" #域名后缀export CLUSTER_DNS_SVC_IP="10.254.0.2" #dnsserver地址#podexport CLUSTER_CIDR="172.30.0.0/16" #pod网络分配的地址段
主要需要配置免密登录和下载二进制文件，这里的 download.sh 下载的文件可能需要翻墙解决。
ssh-keygen #生成免密登录的公私钥. envrionment./ssh-nopwd.sh #设置免密登录cd cert./download.sh #这里需要自行翻墙解决./install.sh #在目标机上创建目录和上传文件cd -
2 证书生成
首先介绍一下证书文件类型：
-
ca.pem, ca-key.pem：证书颁发机构自己的证书和私钥
-
*.pem, *-key.pem：该模块的证书和私钥
-
*.kubeconfig：访问 K8S 的配置文件，内部包括集群的 apiserver、ca、自己的证书和私钥，作用等同配置单独公私钥等参数。
在签发证书时，注意作为被访问节点时，需要将自己被访问所有入口 IP 和域名都放到证书 hosts 字段。
| 命令 | 参数作用 | 参数 | 说明 |
|---|---|---|---|
| kube-apiserver | 访问etcd | --etcd-cafile=${DIR}/ca.pem \\ | |
| 访问kubelet | --kubelet-certificate-authority=${DIR}/ca.pem \\ | apiserver 对 kubelet 的依赖主要是需要 proxy 一些命令 例如 kubectl exec | |
| 被其他组件访问 | --client-ca-file=${DIR}/ca.pem \\ | ||
| secret资源的加密 | --service-account-key-file=${DIR}/service-account.pem | 需要与kube-contrller manager 配合使用 | |
| kube-controller-manager | secret资源的加密 | --service-account-private-key-file= /opt/kube-controller-manager/service-account-key.pem \\ | |
| 访问kube-apiserver | --kubeconfig=/opt/kube-controller-manager/kube-controller-manager.kubeconfig \\ | ||
| 为pod内访问集群签发证书 | --cluster-signing-cert-file=/opt/kube-controller-manager/ca.pem \\ --cluster-signing-key-file=/opt/kube-controller-manager/ca-key.pem \\ | ||
| kube-scheduler | 访问kube-apiserver | kubeconfig: "/opt/kube-scheduler/kube-scheduler.kubeconfig" | |
| kubelet | 访问kube-apiserver | --kubeconfig=/opt/kubelet/${NODE_IP}.kubeconfig \\ | |
| 被kube-apiserver访问 | tlsCertFile: "/opt/kubelet/${NODE_IP}.pem" clientCAFile: "/opt/kubelet/ca.pem" | ||
| etcd | 被客户端访问 | --trusted-ca-file=/opt/etcd/ca.pem \\ | |
| 访问peer和被peer访问 | --peer-trusted-ca-file=/opt/etcd/ca.pem \\ --peer-cert-file=/opt/etcd/etcd.pem \\ --peer-key-file=/opt/etcd/etcd-key.pem \\ |
生成证书的示例如下：
所有执行命令执行如下：
. environmentcd cert. ./install.shcd -
3 部署ETCD
生产环境的 etcd 需要部署三节点或者五节点，这里为了节省资源和方便部署，只部署单节点即可。
4 部署MASTER
这里不一一列举所有参数意义，如果需要可以参考官网，几个重点参数如下：
部署 kube-apiserver 主要的参数除了一些证书配置，还包括：
--service-cluster-ip-range=${SERVICE_CIDR} \\ service 分配 IP 的范围
--service-node-port-range=${NODE_PORT_RANGE} \\ Nodeport 分配端口
kube-controller-manager 的重点参数：
--allocate-node-cidrs=true \\ 为 node 上的 pod 分配 IP 段
--cluster-cidr=${CLUSTER_CIDR} \\ pod 总的 IP 段
--service-cluster-ip-range=${SERVICE_CIDR} \\ service 的 IP 范围
kube-scheduler 会主动连接 apiserver 并 watch 相关事件
. environmentcd master./kube-apiserver.sh./kube-controller-manager.sh./kube-scheduler.shcd -
5 部署NODE
node 上主要包括 kubelet ，kube-proxy 和容器服务。
其中容器服务相关的标准有 CRI 和 OCI ：
-
CRI ( Container Runtime Interface ) 是 Kubernetes 定义的一组 gRPC 服务。Kubelet 作为客户端，基于gRPC 框架，通过 Socket 和容器运行时通信。它包括两类服务：镜像服务（ImageService）和运行时服务 ( RuntimeService ) ，一些实现包括：containerd，cri-o。
-
OCI ( Open Container Initiative ) 定义了创建容器的格式和运行时的开源行业标准，包括镜像规范 ( Image-Specification ) 和运行时规范 ( RuntimeSpecification ) ，一些实现包括：runc，kata。
如下图所示，本文使用下图中的第二种方式：
. environmentcd node. ./containerd.sh. ./kubelet.sh. ./kube-proxy.shcd -
6 部署 Flannel 和 CoreDNS
接下来部署 Kubernetes 的网络相关的插件，Flannel 和 CoreDNS。
CoreDNS 是 Kubernetes 域名服务器的一种实现方案，通过与 API Server 同步 service 和 pod 数据，来做 DNS 解析。运行示意如下：
Flannel 是为 Kubernetes 提供的 overlay 网络方案，会在每一个宿主机上运行名为 flanneId 代理，其负责为宿主机预先分配一个子网，并为 Pod 分配 IP 地址。Flannel 使用 Kubernetes 或 etcd 来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过 VXLAN 、UDP 或 host-gw 这些类型的后端机制进行转发。如下图所示：
. environmentcd flannel./flannel.shcd -cd coredns./coredns.shcd -
7 验证集群
kubectl apply ./pod.yamlkubectl get pods
本文以 Kubernetes 1.18 版本为例，简单的进行了部署，主要是为了读者能够从中理解 Kubernetes 的组件关系。在部署中，一般出现的问题是证书和权限导致的，不同的版本要求不同，在部署中需要注意。
了解更多微服务、云原生技术的相关信息，请关注我们的微信公众号【云原生计算】！