定制开发kubernetes流程

概述

本文介绍如何对kubernetes进行二次开发，仓库如何管理，git分支如何管理，怎样利用CI去编译与发布以及如何给社区贡献代码等，结合实际例子，望对大家有所帮助。

<!--more-->

开发环境构建

Fork

把github.com/kubernetes/kubernetes 项目fork到自己的仓库

Clone到本地

git clone https://github.com/<your-username>/kubernetes

设置remote

git remote add upstream https://github.com/kubernetes/kubernetes.git
git remote set-url --push upstream no-pushing

注意此时你的本地仓库就有了两个远程仓库，一个叫upstream(社区仓库) 一个叫origin(你fork的)

代码同步

当社区仓库代码更新时，我们希望与之同步，那么：

git pull upstream master  # 先同步到本地
git push                  # push 到origin

你修改了代码希望同步给社区，那么PR即可

分支管理

假设我们要定制一个功能，比如我之前做的对kubelet进行lxcfs增强，而我们线上又运行了多个版本的k8s，我们希望这个特性几个版本都可以加上，而且未来k8s发布新版本时同样能merge进去这功能。

要做到这个git里的两个命令非常重要：

• git cherry-pick 能指定merge特定的变更
• git rebase 通常我用来合并多个commit, 虽然cherry-pick也支持多个commit，但是多了容易混乱

首先从master分支HEAD切出一个分支，我们有所的功能开发在这个分支上进行，如我做了c1 c2两次commit。

然后希望把这个功能merge到2.0版本中，我们先从2.0的tag切一个分支出来，然后在这个分之上去cherry-pick c1 c2即可，非常简单方便，其它版本需要此功能同理。

这里注意，如果不用cherry-pick 直接merge的话，因为2.0版本之后还有很多次变更，会产生大量冲突。

CI编译与发布

笔者比较喜欢drone，所以编译与发布都是用的drone，安利个drone免费公有服务非常好用

由于k8s各个版本可能需要的golang版本都不太一样，所以最方便的还是在容器中进行构建，但并不是随便一个golang的镜像都可以进行构建，因为k8s还需要拷贝代码，生成代码等依赖了一些小工具，我这里提供了一个官方的编译镜像：fanux/kube-build:v1.12.1-2

发布时用了drone一个非常方便的插件：plugins/github-release， 可以直接把二进制文件放到github的release pages里

.drone.yml 长这样：

kind: pipeline
name: default
workspace:
    base: /go
    path: src/k8s.io/kubernetes  # 要注意工作目录一定要写这个

steps:
- name: build                    # 编译，名字随便写
  image: fanux/kube-build:v1.12.1-2
  environment:
    GO111MODULE: on              # 启动go mod
  commands:
      - make generated_files UPDATE_API_KNOWN_VIOLATIONS=true   # 这个是一个known api校验，不加编译可能会报错
      - KUBE_GIT_TREE_STATE="clean" KUBE_GIT_VERSION=v1.14.0 KUBE_BUILD_PLATFORMS=linux/amd64 make all WHAT=cmd/kubelet GOFLAGS=-v  # 几个环境变量特别重要，如不加clean编译出来版本号就会加dirty后缀，需要加版本号不然很多时候无法正常工作，加构建平台，这样无需编译多个bin文件加快编译速度，WHAT里指定需要编译什么代码，大部分情况无需编译有所组件
      - ls  _output/bin/  # 这里能看到编译后的二进制文件

- name: publish
  image: plugins/github-release
  settings:
    api_key:
        from_secret: git-release-token
    files: _output/bin/kubelet   # 把上一步二进制文件放到release page中
    title: ${DRONE_TAG}          # 使用你打的tag作为标题
    note: Note.md                # 指定一个文件说明你release中干了啥
    when:
        event: tag

这样提交代码后刷刷抖音等结果即可。。

实践案例

k8s kubeadm默认证书的时间是一年，我希望延长到99年，这样就需要定制化开发，那么问题来了，因为版本众多，是不是需要每个版本都去改一下，那太麻烦了，正确的做法如下：

从master切出一个分支

git checkout -b kubeadm

修改代码并commit

commit 6d16c60ca5ce8858feeabca7a3a18d59e642ac3f (HEAD -> kubeadm)
Author: fanux <[email protected]>
Date:   Mon Mar 18 20:26:08 2019 +0800

    kubeadm with long cert

commit 364b18cb9ef1e8da2cf09f33d0fd8042de6b327e (upstream/master, origin/master, origin/HEAD, master)

可以看到我们commit了一次，现在只需要把6d16c60ca这个变化merge到各版本即可

merge到1.13.4版本中

git checkout -b v1.13.4 v1.13.4
git cherry-pick 6d16c60ca5c

注意 这次commit如果修改了相同文件的行还是可能会冲突的，需要手动解决一下冲突

解决完冲突commit即可

➜  kubernetes git:(v1.13.4) ✗ git add .
➜  kubernetes git:(v1.13.4) ✗ git commit -m "v1.13.4-cert"
[v1.13.4 1bd2e627f5] v1.13.4-cert
 Date: Mon Mar 18 20:26:08 2019 +0800
 4 files changed, 42 insertions(+), 3 deletions(-)
 create mode 100644 .drone.yml
 create mode 100644 Note.md
➜  kubernetes git:(v1.13.4) git tag v1.13.4-cert
➜  kubernetes git:(v1.13.4) git push --tags

其它注意事项

要PR给社区的话需要CLA认证一下, 不然你的PR社区是不管的。

CI加的一些文件如.drone.yml dockerfile等与实际功能的添加最好分开，方便PR时只PR实际需要的代码。

其它组件与apiserver scheduler可以CI直接打成docker镜像，drone很灵活，不要用死了

扫码关注sealyun探讨可加QQ群：98488045