通过污点和容忍让pod运行在特定节点上
参考官网：https://k8smeetup.github.io/docs/concepts/configuration/taint-and-toleration/
1、taint 排斥效果
taint的effect定义对Pod排斥效果：
NoSchedule：仅影响调度过程，对现存的Pod对象不产生影响；但容忍的pod同时也能够被分配到集群中的其它节点
NoExecute：既影响调度过程，也影响现在的Pod对象；不容忍的Pod对象将被驱逐
PreferNoSchedule：NoSchedule的柔性版本，最好别调度过来，实在没地方运行调过来也行
2、添加污点
给 worker1，worker2，worker3 三个节点添加污点
kubectl taint node rancher-k8s-worker1 item-name=assistant:NoExecute
kubectl taint node rancher-k8s-worker2 item-name=sca:NoExecute
kubectl taint node rancher-k8s-worker3 item-name=kuiyuan:NoExecute
说明：
1）给 worker1 节点设置 key 为 item-name，value 为 assistant 的 taint（污点），只要拥有和这个 taint 相匹配的 toleration（容忍） 的 pod 才能够被分配到 worker1 这个节点上。worker2 和 worker3 同理。
2）taint 的 effect 值 NoExecute ，它会影响已经在节点上运行的 pod ：
如果 pod 不能忍受effect 值为 NoExecute 的 taint，那么 pod 将马上被驱逐
如果 pod 能够忍受effect 值为 NoExecute 的 taint，但是在 toleration 定义中没有指定 tolerationSeconds，则 pod 还会一直在这个节点上运行。
如果 pod 能够忍受effect 值为 NoExecute 的 taint，而且指定了 tolerationSeconds，则 pod 还能在这个节点上继续运行这个指定的时间长度。
附：删除污点命令
kubectl taint node rancher-k8s-worker1 item-name-
kubectl taint node rancher-k8s-worker2 item-name-
kubectl taint node rancher-k8s-worker3 item-name-
3、pod添加容忍
分别在三个节点上运行对应容忍的pod。
1）pod 定义 toleration，匹配 key 为 item-name，value 为 assistant 的 taint
cat > nginx-assistant.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
name: nginx-assistant
labels:
app: nginx-assistant
spec:
containers:
- name: nginx-assistant
image: nginx
resources:
limits:
cpu: 30m
memory: 20Mi
requests:
cpu: 20m
memory: 10Mi
tolerations:
- key: item-name
value: assistant
operator: Equal
effect: NoExecute
EOF
2）pod 定义 toleration，匹配 key 为 item-name，value 为 sca 的 taint
cat > nginx-sca.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
name: nginx-sca
labels:
app: nginx-sca
spec:
containers:
- name: nginx-sca
image: nginx
resources:
limits:
cpu: 30m
memory: 20Mi
requests:
cpu: 20m
memory: 10Mi
tolerations:
- key: item-name
value: sca
operator: Equal
effect: NoExecute
EOF
3）pod 定义 toleration，匹配 key 为 item-name，value 为 kuiyuan 的 taint
cat > nginx-kuiyuan.yaml <<EOF
apiVersion: v1
kind: Pod
metadata:
name: nginx-kuiyuan
labels:
app: nginx-kuiyuan
spec:
containers:
- name: nginx-kuiyuan
image: nginx
resources:
limits:
cpu: 30m
memory: 20Mi
requests:
cpu: 20m
memory: 10Mi
tolerations:
- key: item-name
value: kuiyuan
operator: Equal
effect: NoExecute
EOF
#创建pod
kubectl apply -f ./
4、查看 pod 运行主机
kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-79748b4cb-25cqr / Running 111s 10.42.10.25 rancher-k8s-worker4 <none> <none>
nginx-79748b4cb-tnknc / Running 107s 10.42.10.26 rancher-k8s-worker4 <none> <none>
nginx-79748b4cb-xpx76 / Running 101s 10.42.10.27 rancher-k8s-worker4 <none> <none>
nginx-assistant 1/1 Running 0 33m 10.42.4.246 rancher-k8s-worker1 <none> <none>
nginx-kuiyuan 1/1 Running 0 33m 10.42.5.239 rancher-k8s-worker3 <none> <none>
nginx-sca 1/1 Running 0 33m 10.42.3.203 rancher-k8s-worker2 <none> <none>
可以看到三个pod都运行到了对应的节点上，而未定义容忍度的 nginx 的三个pod都被驱逐到了worker4上。（如果没有匹配到对应的污点，则会调度到未配置污点的节点上）
5、基于 taint 的驱逐（alpha 特性）
这是在每个 pod 中配置的在节点出现问题时的驱逐行为。
1）当某种条件为真时，node controller会自动给节点添加一个 taint。
当前内置的 taint 包括：
node.kubernetes.io/not-ready：节点未准备好。这相当于节点状态 Ready 的值为 “False“。
node.alpha.kubernetes.io/unreachable：node controller 访问不到节点. 这相当于节点状态 Ready 的值为 “Unknown“。
node.kubernetes.io/out-of-disk：节点磁盘耗尽。
node.kubernetes.io/memory-pressure：节点存在内存压力。
node.kubernetes.io/disk-pressure：节点存在磁盘压力。
node.kubernetes.io/network-unavailable：节点网络不可用。
node.cloudprovider.kubernetes.io/uninitialized：如果 kubelet 启动时指定了一个 “外部” cloud provider，它将给当前节点添加一个 taint 将其标志为不可用。在 cloud-controller-manager 的一个 controller 初始化这个节点后，kubelet 将删除这个 taint。
在启用了 TaintBasedEvictions 这个 alpha 功能特性后，NodeController 会自动给节点添加这类 taint，上述基于节点状态 Ready 对 pod 进行驱逐的逻辑会被禁用。
注意：为了保证由于节点问题引起的 pod 驱逐rate limiting行为正常，系统实际上会以 rate-limited 的方式添加 taint。在像 master 和 node 通讯中断等场景下，这避免了 pod 被大量驱逐。使用这个 alpha 功能特性，结合 tolerationSeconds ，pod 就可以指定当节点出现一个或全部上述问题时还将在这个节点上运行多长的时间。
比如：可以查看之前创建的 nginx-assistant 的 tolerations：
kubectl describe nginx-assistant
Tolerations: item-name=assistant:NoExecute
node.kubernetes.io/not-ready:NoExecute for 300s
node.kubernetes.io/unreachable:NoExecute for 300s
除了我们定义的容忍匹配的 taint 外，还默认匹配了 not-ready，unreachable 这两个 taint，并且指定 tolerationSeconds 为 5 分钟。这种自动添加 toleration 机制保证了在其中一种问题被检测到时 pod 默认能够继续停留在当前节点运行 5 分钟；这两个默认 toleration 是由 DefaultTolerationSeconds admission controller添加的。
另外：我们可以指定这个时间，在网络断开时，仍然希望停留在当前节点上运行一段较长的时间，愿意等待网络恢复以避免被驱逐。在这种情况下，pod 的 toleration 可能是下面这样的：
tolerations:
- key: "node.alpha.kubernetes.io/unreachable"
operator: "Exists"
effect: "NoExecute"
tolerationSeconds: 6000
2）DaemonSet 中的 pod 被创建时，针对 taint 自动添加的 NoExecute 的 toleration 将不会指定 tolerationSeconds。
比如：系统pod（canal，dns等）不会指定 tolerationSeconds
kubectl describe pod/canal-75pct -n kube-system
Tolerations: :NoSchedule
:NoExecute
CriticalAddonsOnly
node.kubernetes.io/disk-pressure:NoSchedule
node.kubernetes.io/memory-pressure:NoSchedule
node.kubernetes.io/network-unavailable:NoSchedule
node.kubernetes.io/not-ready:NoExecute
node.kubernetes.io/unreachable:NoExecute
node.kubernetes.io/unschedulable:NoSchedule
这保证了出现上述问题时 DaemonSet 中的 pod 永远不会被驱逐，这和 TaintBasedEvictions 这个特性被禁用后的行为是一样的。