准入控制

kubernetes的安全框架

访问k8s集群需要过三关：鉴权（Authentication），授权（Authorization），准入控制（Admission Control）
普通用户要安全访问apiServer往往需要证书，token或者用户名

kubernetes(十二) 准入控制和helm v3包管理-LMLPHP

传输安全，认证，授权，准入控制

传输安全

告别8080，迎接6443
全面基于HTTPS通信

鉴权：三种客户端身份认证：

HTTPS 证书认证：基于CA证书签名的数字证书认证
HTTP Token认证：通过一个Token来识别用户
HTTP Base认证：用户名+密码的方式认证

授权：

RBAC（Role-Based Access Control，基于角色的访问控制）：负责完成授权（Authorization）工作。

根据API请求属性，决定允许还是拒绝。

准入控制：

Adminssion Control实际上是一个准入控制器插件列表，发送到API Server的请求都需要经过这个列表中的每个准入控制器插件的检查，检查不通过，则拒绝请求。

RBAC授权

RBAC（Role-Based Access Control，基于角色的访问控制），允许通过Kubernetes API动态配置策略。

角色

Role：授权特定命名空间的访问权限
ClusterRole：授权所有命名空间的访问权限

角色绑定

RoleBinding：将角色绑定到主体（即subject）
ClusterRoleBinding：将集群角色绑定到主体

主体（subject）

User：用户
Group：用户组
ServiceAccount：服务账号

kubernetes(十二) 准入控制和helm v3包管理-LMLPHP

实例

为aliang用户创建default名称空间Pod读取权限
- k8s CA签发证书

cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF

cat > aliang-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes aliang-csr.json | cfssljson -bare aliang

生成kubeconfig授权文件

# kubeconfig
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=aliang.kubeconfig

# 设置客户端认证
kubectl config set-credentials aliang \
  --client-key=aliang-key.pem \
  --client-certificate=aliang.pem \
  --embed-certs=true \
  --kubeconfig=aliang.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=aliang \
  --kubeconfig=aliang.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=aliang.kubeconfig

RBAC准入

 $ vim role.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: Role
  metadata:
    namespace: default
    name: pod-reader
  rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "watch", "list"]
  $ kubectl apply -f role.yml
  $ vim  binding.yml
  apiVersion: rbac.authorization.k8s.io/v1
  kind: RoleBinding
  metadata:
    name: read-pods
    namespace: default
  subjects:
  - kind: User
    name: aliang
    apiGroup: rbac.authorization.k8s.io
  roleRef:
    kind: Role
    name: pod-reader
    apiGroup: rbac.authorization.k8s.io
  $ kubectl apply -f binding.yml

测试权限

 $ kubectl --kubeconfig=aliang.kubeconfig get pods
  NAME                                      READY   STATUS    RESTARTS   AGE
  nfs-client-provisioner-75f9fd7b57-67jtk   1/1     Running   0          5h49m

用户组权限设置

签发证书

$ cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}
EOF
$ cat > k8s-csr.json <<EOF
{
  "CN": "aliang",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=/data/kubernetes/ssl/ca.pem -ca-key=/data/kubernetes/ssl/ca-key.pem -config=ca-config.json -profile=kubernetes k8s-csr.json | cfssljson -bare k8s

生成kubeconfig授权文件

# kubeconfig
kubectl config set-cluster kubernetes \
  --certificate-authority=/data/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=https://192.168.56.14:6443 \
  --kubeconfig=k8s.kubeconfig

# 设置客户端认证
kubectl config set-credentials k8s \
  --client-key=k8s-key.pem \
  --client-certificate=k8s.pem \
  --embed-certs=true \
  --kubeconfig=k8s.kubeconfig

# 设置默认上下文
kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=k8s \
  --kubeconfig=k8s.kubeconfig

# 设置当前使用配置
kubectl config use-context kubernetes --kubeconfig=k8s.kubeconfig

创建RBAC

$ vim role.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: default
  name: pod-reader
rules:
- apiGroups: ["*"]
  resources: ["pods","services","deployments"]
  verbs: ["get", "watch", "list"]
$ kubectl apply -f role.yml
$ vim  binding.yml
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: read-pods
  namespace: default
subjects:
- kind: Group
  name: k8s
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io
$ kubectl apply -f binding.yml

Helm包管理

为什么要使用helm

K8S上的应用对象，都是由特定的资源描述组成，包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。

如果应用只由一个或几个这样的服务组成，上面部署方式足够了。

而对于一个复杂的应用，会有很多类似上面的资源描述文件，例如微服务架构应用，组成应用的服务可能多达十个，几十个。如果有更新或回滚应用的需求，可能要修改和维护所涉及的大量资源文件，而这种组织和管理应用的方式就显得力不从心了。

且由于缺少对发布过的应用版本管理和控制，使Kubernetes上的应用维护和更新等面临诸多的挑战，主要面临以下问题：

如何将这些服务作为一个整体管理
这些资源文件如何高效复用
不支持应用级别的版本管理

helm介绍

Helm是一个Kubernetes的包管理工具，就像Linux下的包管理器，如yum/apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。

Helm有3个重要概念：

helm：一个命令行客户端工具，主要用于Kubernetes应用chart的创建、打包、发布和管理。
Chart：应用描述，一系列用于描述 k8s 资源相关文件的集合。
Release：基于Chart的部署实体，一个 chart 被 Helm 运行后将会生成对应的一个 release；将在k8s中创建出真实运行的资源对象。

helm V3

2019年11月13日， Helm团队发布 Helm v3的第一个稳定版本。

该版本主要变化如下：

1、架构变化

最明显的变化是 Tiller的删除

kubernetes(十二) 准入控制和helm v3包管理-LMLPHP

2、Release名称可以在不同命名空间重用

3、支持将 Chart 推送至 Docker 镜像仓库中

4、使用JSONSchema验证chart values

5、其他

1）为了更好地协调其他包管理者的措辞 Helm CLI个别更名

helm delete` 更名为 `helm uninstall
helm inspect` 更名为 `helm show
helm fetch` 更名为 `helm pull

但以上旧的命令当前仍能使用。

2）移除了用于本地临时搭建 Chart Repository的 helm serve 命令。

3）自动创建名称空间

在不存在的命名空间中创建发行版时，Helm 2创建了命名空间。Helm 3遵循其他Kubernetes对象的行为，如果命名空间不存在则返回错误。

4）不再需要requirements.yaml, 依赖关系是直接在chart.yaml中定义

helm 客户端工具

Helm客户端下载地址：https://github.com/helm/helm/releases

解压移动到/usr/bin/目录即可。

wget https://get.helm.sh/helm-v3.2.4-linux-amd64.tar.gz
tar zxvf helm-v3.2.4-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/

2、Helm常用命令

命令	描述
completion	命令补全，source <(helm completion bash)
create	创建一个chart并指定名字
dependency	管理chart依赖
get	下载一个release。可用子命令：all、hooks、manifest、notes、values
history	获取release历史
install	安装一个chart
list	列出release
package	将chart目录打包到chart存档文件中
pull	从远程仓库中下载chart并解压到本地 # helm pull stable/mysql --untar
repo	添加，列出，移除，更新和索引chart仓库。可用子命令：add、index、list、remove、update
rollback	从之前版本回滚
search	根据关键字搜索chart。可用子命令：hub、repo
show	查看chart详细信息。可用子命令：all、chart、readme、values
status	显示已命名版本的状态
template	本地呈现模板
uninstall	卸载一个release
upgrade	更新一个release
version	查看helm客户端版本

3、配置国内Chart仓库

微软仓库（http://mirror.azure.cn/kubernetes/charts/）这个仓库推荐，基本上官网有的chart这里都有。
阿里云仓库（https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts ）
官方仓库（https://hub.kubeapps.com/charts/incubator）官方chart仓库，国内有点不好使。

添加存储库：

helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo update

查看配置的存储库：

helm repo list
helm search repo stable

一直在stable存储库中安装charts，你可以配置其他存储库。

删除存储库：

helm repo remove aliyun

14.5 Helm基本使用

主要介绍三个命令：

helm install
helm upgrade
helm rollback

1、使用chart部署一个应用

kubernetes(十二) 准入控制和helm v3包管理-LMLPHP

查找chart：

$ helm search repo
$ helm search repo mysql

为什么mariadb也在列表中？因为他和mysql有关。

查看chart信息：

# helm show chart stable/mysql

安装包：

$ export KUBERNETES_MASTER=http://127.0.0.1:8080   #必须指定，不然报错
$ helm install db stable/mysql
$ helm search weave
$ helm install stable/weave-scope
$ kubectl get pod,deploy,svc
ui-weave-scope   ClusterIP    10.0.0.64
$ kubectrl edit svc ui-weave-scope
type: NodePort   # 改成nodeport
### web访问ui

查看发布状态：

$ helm status db    #此时数据库时pending的状态，缺少存储

2、helm install自定义chart配置选项

上面部署的mysql并没有成功，这是因为并不是所有的chart都能按照默认配置运行成功，可能会需要一些环境依赖，例如PV。

所以我们需要自定义chart配置选项，安装过程中有两种方法可以传递配置数据：

--values（或-f）：指定带有覆盖的YAML文件。这可以多次指定，最右边的文件优先
--set：在命令行上指定替代。如果两者都用，--set优先级高

--values使用，先将修改的变量写到一个文件中

$ helm show values stable/mysql
$ cat config.yaml
persistence:
  enabled: true
  storageClass: "managed-nfs-storage"
  accessMode: ReadWriteOnce
  size: 8Gi
mysqlUser: "k8s"
mysqlPassword: "123456"
mysqlDatabase: "k8s"
$ helm install db -f config.yaml stable/mysql
$ kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
db-mysql-589c6c5b87-tltwf                 1/1     Running   0          13m

$ MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo)
$ echo $MYSQL_ROOT_PASSWORD
64Ch57770e
$  kubectl run  mysql-test --rm -it --image=mysql:5.7 -- bash
root@ubuntu:/# apt-get update && apt-get install mysql-client -y
root@ubuntu:/# mysql  -h db-mysql -p

![image-20200729162824167](/Users/wanghui/Library/Application Support/typora-user-images/image-20200729162824167.png)

以上将创建具有名称的默认MySQL用户k8s，并授予此用户访问新创建的k8s数据库的权限，但将接受该图表的所有其余默认值。

命令行替代变量：

# helm install db --set persistence.storageClass="managed-nfs-storage" stable/mysql

也可以把chart包下载下来查看详情：

# helm pull stable/mysql --untar

values yaml与set使用：

kubernetes(十二) 准入控制和helm v3包管理-LMLPHP

该helm install命令可以从多个来源安装：

chart存储库
本地chart存档（helm install foo-0.1.1.tgz）
chart目录（helm install path/to/foo）
完整的URL（helm install https://example.com/charts/foo-1.2.3.tgz）

3、构建一个Helm Chart

$ helm create mychart
$ tree mychart/
mychart/
├── charts
├── Chart.yaml
├── templates
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── ingress.yaml
│   ├── NOTES.txt
│   └── service.yaml
└── values.yaml

Chart.yaml：用于描述这个 Chart的基本信息，包括名字、描述信息以及版本等。
values.yaml ：用于存储 templates 目录中模板文件中用到变量的值。
Templates：目录里面存放所有yaml模板文件。
charts：目录里存放这个chart依赖的所有子chart。
NOTES.txt ：用于介绍Chart帮助信息， helm install 部署后展示给用户。例如：如何使用这个 Chart、列出缺省的设置等。
_helpers.tpl：放置模板助手的地方，可以在整个 chart 中重复使用

创建Chart后，接下来就是将其部署：

helm install web mychart/

也可以打包推送的charts仓库共享别人使用。

# helm package mychart/
mychart-0.1.0.tgz

4、升级、回滚和删除

发布新版本的chart时，或者当您要更改发布的配置时，可以使用该helm upgrade 命令。

$ helm upgrade --set imageTag=1.17 web mychart
$ helm upgrade -f values.yaml web mychart

如果在发布后没有达到预期的效果，则可以使用helm rollback回滚到之前的版本。

例如将应用回滚到第一个版本：

$ helm history web
$ helm rollback web 2

卸载发行版，请使用以下helm uninstall命令：

$ helm uninstall web

查看历史版本配置信息

$ helm get all web
$ helm get all --revision 4 web

14.6 Chart模板

Helm最核心的就是模板，即模板化的K8S manifests文件。

它本质上就是一个Go的template模板。Helm在Go template模板的基础上，还会增加很多东西。如一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流，例如条件语句、管道等等。这些东西都会使得我们的模板变得更加丰富。

1、模板

有了模板，我们怎么把我们的配置融入进去呢？用的就是这个values文件。这两部分内容其实就是chart的核心功能。

接下来，部署nginx应用，熟悉模板使用，先把templates 目录下面所有文件全部删除掉，这里我们自己来创建模板文件：

$ rm -rf mychart/templates/*
$ vi templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.16
        name: nginx

这个deployment就是一个Go template的模板，这里定义的Release模板对象属于Helm内置的一种对象，是从values文件中读取出来的。这样一来，我们可以将需要变化的地方都定义变量。

再执行helm install chart 可以看到现在生成的名称变成了web-deployment，证明已经生效了。也可以使用命令helm get manifest查看最终生成的文件内容。

2、调试

Helm也提供了--dry-run --debug调试参数，帮助你验证模板正确性。在执行helm install时候带上这两个参数就可以把对应的values值和渲染的资源清单打印出来，而不会真正的去部署一个release。

比如我们来调试上面创建的 chart 包：

# helm install web2 --dry-run /root/mychart

3、内置对象

刚刚我们使用 {{.Release.Name}}将 release 的名称插入到模板中。这里的 Release 就是 Helm 的内置对象，下面是一些常用的内置对象：

Release.Name	release 名称
Release.Name	release 名字
Release.Namespace	release 命名空间
Release.Service	release 服务的名称
Release.Revision	release 修订版本号，从1开始累加

4、Values

Values对象是为Chart模板提供值，这个对象的值有4个来源：

chart 包中的 values.yaml 文件
父 chart 包的 values.yaml 文件
通过 helm install 或者 helm upgrade 的 -f或者 --values参数传入的自定义的 yaml 文件
通过 --set 参数传入的值

chart 的 values.yaml 提供的值可以被用户提供的 values 文件覆盖，而该文件同样可以被 --set提供的参数所覆盖。

这里我们来重新编辑 mychart/values.yaml 文件，将默认的值全部清空，然后添加一个副本数：

$ cat values.yaml
replicaCount: 1
label:
  project: test
  app: nginx
image:
  repository: nginx
  tags: 1.17
  name: web
service:
  type: ClusterIP
  port: 80
  targetport: 80

$ cat templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: web
  name: {{ .Release.Name }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      project: {{ .Values.label.project }}
      app: {{ .Values.label.app }}
  template:
    metadata:
      labels:
        project: {{ .Values.label.project }}
        app: {{ .Values.label.app }}
    spec:
      containers:
      - image: {{ .Values.image.repository }}:{{ .Values.image.tags }}
        name: {{ .Values.image.name }}
$ vim templates/service.yaml
apiVersion: v1
kind: Service
metadata:
  name: {{ .Release.Name }}
spec:
  ports:
  - port: {{ .Values.service.port }}
    protocol: TCP
    targetPort: {{ .Values.service.targetport }}
  type: {{ .Values.service.type }}
  selector:
    project: {{ .Values.label.project }}
    app: {{ .Values.label.app }}

查看渲染结果：

$ helm install --dry-run web ../mychart/
$ helm install web ../mychart

values 文件也可以包含结构化内容，例如：

$ helm upgrade web --set  image.tags="1.18" --set service.type="NodePort" ../mychart
$ helm upgrade web --set image.tags="1.19" --set service.type="NodePort" ../mychart
$ helm history web
$ helm rollback web 2    #回滚到2版本，不能回滚到第一个版本，因为serviceType不一致的话回滚是失败的

小结

开发Chart大致流程：

先创建模板 helm create demo
修改Chart.yaml，Values.yaml，添加常用的变量
在templates目录下创建部署镜像所需要的yaml文件，并变量引用yaml里经常变动的字段

lblog_zc54ocuh

kubernetes(十二) 准入控制和helm v3包管理

准入控制

kubernetes的安全框架

传输安全，认证，授权，准入控制

传输安全

实例

用户组权限设置

Helm包管理

为什么要使用helm

helm介绍

helm V3

helm 客户端工具

14.5 Helm基本使用

14.6 Chart模板

小结