kubernetes 部署(Centos 7)

一个或者多个兼容 deb 或者 rpm 软件包的操作系统,比如 Ubuntu 或者 CentOS

每台机器 2 GB 以上的内存,内存不足时应用会受限制

主节点上 2 CPU 以上

集群里所有的机器有完全的网络连接,公有网络或者私有网络都可以

  • 关闭防火墙
sudo systemctl stop firewalld.service       #停止firewall
sudo systemctl disable firewalld.service #禁止firewall开机启动
sudo firewall-cmd --state #查看防火墙状态
  • 开启数据包转发
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

生效命令sysctl -p

  • 配置iptables参数,使得流经网桥的流量也经过iptables/netfilter防火墙
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
  • swap关闭
swapoff -a

修改 /etc/fstab 文件,注释掉 SWAP 的自动挂载,使用free -m确认swap已经关闭。

  • 主机名配置

修改主机名hostnamectl set-hostname <主机名> --static

每台主机/etc/hosts指明

kubernetes 部署-LMLPHP

1、docker ce安装

https://docs.docker.com/install/linux/docker-ce/centos/

https://kubernetes.io/docs/setup/cri/

# Install Docker CE
## Set up the repository
### Install required packages.
yum install yum-utils device-mapper-persistent-data lvm2 ### Add Docker repository.
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo ## Install Docker CE.
yum install -y --setopt=obsoletes=0 docker-ce-18.09.5-3.el7 ## Create /etc/docker directory.
mkdir /etc/docker # Setup daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF systemctl enable docker
systemctl restart docker

查看可以安装包

yum list docker-ce --showduplicates

2、kubelet kubeadm kubectl安装(v1.14.1)

https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/

  • 仓库镜像源选择阿里
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF
  • 将 SELinux 设置为 permissive 模式(将其禁用)
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
  • yum安装
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

或者指定版本

yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 --disableexcludes=kubernetes
  • 启动kubelet
systemctl enable kubelet && systemctl start kubelet

kubernetes 部署-LMLPHP

从运行结果可以看到kubelet处于定期重启的状态,只有当在master节点执行kubeadm init 或者在worker节点执行kubeadm join时候。kubelet所需要的配置才能被满足。这个时候kubelet才会正常运行起来。

3、k8s主要组件安装

kubeadm config images list --kubernetes-version=v1.14.1

kubernetes 部署-LMLPHP

镜像源路径 gcr.io/google_containers

由于国内的网络原因,在搭建环境时,经常无法pull到这些镜像。可以利用Docker Hub搭建自己的镜像仓库。

1、通过GitHub创建一个仓库kubernetes

  • 在centos主机上执行
cd kubernetes
git init
git remote add origin [email protected]:shhnwangjian/kubernetes.git
mkdir kube-apiserver
cd kube-apiserver
  • vim Dockerfile
FROM gcr.io/google_containers/kube-apiserver:v1.14.1
MAINTAINER shhnwangjian

其它目录和Dockerfile也需要创建

kubernetes 部署-LMLPHP

git add .
git commit -m "kubernetes Dockerfile v1.14.1"
git push origin master

kubernetes 部署-LMLPHP

2、访问 https://hub.docker.com/

kubernetes 部署-LMLPHP

填写的内容是kube-apiserver-amd64

kubernetes 部署-LMLPHP

点击创建后,进入这个Repositories

kubernetes 部署-LMLPHP

kubernetes 部署-LMLPHP

输入对应信息点击 SAVE

kubernetes 部署-LMLPHP

点击Trigger进行构建,构建成功后,

通过执行 docker login 命令交互式的输入用户名及密码来完成在命令行界面登录 Docker Hub

通过命令docker pull shhnwangjian/kube-apiserver:v1.14.1 下载到本地镜像源

参考文章https://www.jianshu.com/p/11a804080230

下载列表

docker pull shhnwangjian/kube-apiserver:v1.14.1
docker pull shhnwangjian/kube-controller-manager:v1.14.1
docker pull shhnwangjian/kube-scheduler:v1.14.1
docker pull shhnwangjian/kube-proxy:v1.14.1
docker pull shhnwangjian/etcd:3.3.10
docker pull shhnwangjian/pause:3.1
docker pull shhnwangjian/coredns:1.3.1

重新打标签

docker tag shhnwangjian/kube-apiserver:v1.14.1 k8s.gcr.io/kube-apiserver:v1.14.1
docker tag shhnwangjian/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1
docker tag shhnwangjian/kube-scheduler:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1
docker tag shhnwangjian/kube-proxy:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1
docker tag shhnwangjian/etcd:3.3.10 k8s.gcr.io/etcd:3.3.10
docker tag shhnwangjian/pause:3.1 k8s.gcr.io/pause:3.1
docker tag shhnwangjian/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

master节点部署

kubeadm init引导和初始化master

备注:https://k8smeetup.github.io/docs/admin/kubeadm/ (kubeadm 设置工具参考指南)

kubeadm init --apiserver-advertise-address=192.168.31.153 --pod-network-cidr=10.244.0.0/20 --kubernetes-version=v1.14.1

kubernetes 部署-LMLPHP

提示需要关闭swap

vim /etc/fstab

kubernetes 部署-LMLPHP

执行重启命令reboot now,再次执行上面的init命令

kubernetes 部署-LMLPHP

kubeadm join 192.168.31.153:6443 --token zbp38a.gv1kdti4ycnjp2j4 \
--discovery-token-ca-cert-hash sha256:0f447fa079d9db4242f2d3cb1edbe118e67b0935a8ba8dfd7501b8626d4b31be

记下其中的token,加入node节点时会用到。

初始化如果遇到问题,可以使用下面的命令进行清理再重新初始化:sudo kubeadm reset

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看一下集群状态,确认个组件都处于healthy状态

kubectl get cs

kubernetes 部署-LMLPHP

安装pod network(flannel)

mkdir -p ~/k8s/
cd ~/k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

执行 kubectl apply -f  kube-flannel.yml

kubernetes 部署-LMLPHP

使用kubectl get pod --all-namespaces -o wide确保所有的Pod都处于Running状态

kubernetes 部署-LMLPHP

node节点部署

注意:默认token的有效期为24小时,当过期之后,该token就不可用了。此时可以重新生成token:

kubeadm token generate
kubeadm token create <generated-token> --print-join-command --ttl=0

在每台node节点执行

kubernetes 部署-LMLPHP

如果遇到问题,可以使用命令kubeadm reset进行清理再重新初始化

在master节点执行命令成功如下图

kubernetes 部署-LMLPHP

  • 配置node节点也可以使用kubectl

将master节点的admin.conf同步到node节点

scp /etc/kubernetes/admin.conf [email protected]:/etc/kubernetes

在node节点执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时可以在node节点执行kubectl命令

参考文章:

https://blog.frognew.com/2019/04/kubeadm-install-kubernetes-1.14.html

https://blog.csdn.net/liukuan73/article/details/83090350

https://draveness.me/understanding-kubernetes

04-15 11:25