采用docker镜像安装GitLab

3.2.1. 简介

3.2.2. 架构图

基于docker安装gitlab-LMLPHP

3.2.3. 下载镜像

  • docker pull sameersbn/gitlab:7.4.3 # 下载gitlab镜像
  • docker pull sameersbn/mysql:latest # 下载gitlab所用到的mysql镜像
  • docker pull sameersbn/redis:latest # 下载gitlab所用到的redis镜像

3.2.4. 安装

3.2.4.1. 启动redis

  • 命令:
    docker run \
    	--name=gitlab_redis \
    	-tid \
    	sameersbn/redis:latest
    

3.2.4.2. 启动mysql

  • mkdir -p /opt/gitlab/mysql
  • 命令:
    docker run \
    	--name=gitlab_mysql \
    	-tid \
    	-e 'DB_NAME=gitlabhq_production' \
    	-e 'DB_USER=gitlab' \
    	-e 'DB_PASS=password' \
    	-v /opt/gitlab/mysql:/var/lib/mysql \
    	sameersbn/mysql:latest
    

3.2.4.3. 启动gitlab

  • mkdir -p /opt/gitlab/data /opt/gitlab/log
  • 命令:
    docker run \
    	--name='gitlab' \
    	-itd \
    	--link gitlab_mysql:mysql \
    	--link gitlab_redis:redisio \
    	-e 'GITLAB_PORT=80' \
    	-e 'GITLAB_SSH_PORT=22' \
    	-e 'GITLAB_HOST=gitlab.example.com' \
    	-v /var/run/docker.sock:/run/docker.sock \
    	-v $(which docker):/bin/docker \
    	-v /opt/gitlab/data:/home/git/data \
    	-v /opt/gitlab/log:/var/log/gitlab \
    	sameersbn/gitlab:7.4.3
    
    
    上述是开启一个基本gitlab。
    完整(包含LDAP、EMAIL):
    docker run \
    	--name='gitlab' \
    	-itd \
    	--link gitlab_mysql:mysql \
    	--link gitlab_redis:redisio \
    	-e 'GITLAB_PORT=80' \
    	-e 'GITLAB_SSH_PORT=22' \
    	-e 'LDAP_ENABLED=true' \
    	-e 'LDAP_HOST=192.168.1.1' \
    	-e 'LDAP_PORT=389' \
    	-e 'LDAP_UID=sAMAccountName' \
    	-e 'LDAP_METHOD=plain' \
    	-e '[email protected]' \
    	-e 'LDAP_PASS=passwd' \
    	-e 'LDAP_BASE=OU=example_users,DC=example-family,DC=com' \
    	-e 'LDAP_ACTIVE_DIRECTORY=true' \
    	-e 'LDAP_ALLOW_USERNAME_OR_EMAIL_LOGIN=false' \
    	-e 'GITLAB_HOST=gitlab.example.com' \
    	-e 'SMTP_ENABLED=true' \
    	-e 'SMTP_DOMAIN=example.com' \
    	-e 'SMTP_HOST=192.168.1.2' \
    	-e 'SMTP_PORT=25' \
    	-e 'SMTP_STARTTLS=false' \
    	-v /var/run/docker.sock:/run/docker.sock \
    	-v $(which docker):/bin/docker \
    	-v /opt/gitlab/data:/home/git/data \
    	-v /opt/gitlab/log:/var/log/gitlab \
    	sameersbn/gitlab:7.4.3
    
  • 当然,redis和mysql也支持使用ip+端口,不用–link,带上环境变量即可,方法是:
    完整:
    docker run \
    	--name='gitlab' \
    	-itd \
    	--net=none \
    	--hostname='gitlab.example.com' \
    	-e 'DB_TYPE=mysql' \
    	-e 'DB_HOST=192.168.3.1' \
    	-e 'DB_PORT=3356' \
    	-e 'DB_NAME=gitlabhq_production' \
    	-e 'DB_USER=gitlab' \
    	-e 'DB_PASS=passwd' \
    	-e 'REDIS_HOST=192.168.3.2' \
    	-e 'REDIS_PORT=6402' \
    	-e 'UNICORN_WORKERS=20' \
    	-e 'GITLAB_PORT=80' \
    	-e 'GITLAB_SSH_PORT=22' \
    	-e 'LDAP_ENABLED=true' \
    	-e 'LDAP_HOST=192.168.3.3' \
    	-e 'LDAP_PORT=389' \
    	-e 'LDAP_UID=sAMAccountName' \
    	-e 'LDAP_METHOD=plain' \
    	-e '[email protected]' \
    	-e 'LDAP_PASS=passwd' \
    	-e 'LDAP_BASE=OU=example_users,DC=example-family,DC=com' \
    	-e 'LDAP_ACTIVE_DIRECTORY=true' \
    	-e 'LDAP_ALLOW_USERNAME_OR_EMAIL_LOGIN=false' \
    	-e 'GITLAB_HOST=gitlab.example.com' \
    	-e 'SMTP_ENABLED=true' \
    	-e 'SMTP_DOMAIN=example.com' \
    	-e 'SMTP_HOST=192.168.3.4' \
    	-e 'SMTP_PORT=25' \
    	-e 'SMTP_STARTTLS=false' \
    	-v /var/run/docker.sock:/run/docker.sock \
    	-v $(which docker):/bin/docker \
    	-v /opt/gitlab/data:/home/git/data \
    	-v /opt/gitlab/log:/var/log/gitlab \
    	sameersbn/gitlab:7.4.3
    
    sameersbn/gitlab:7.4.3不支持redis的任何验证,只能无密码使用
    

3.2.4.4. 给gitlab容器配置IP

3.2.4.5. 安装已完成,可以打开页面

  • url: gitlab.example.com
    账户:root
    密码:5iveL!fe
    
  • 效果:基于docker安装gitlab-LMLPHP

3.2.4.6. 加入开机启动

  • 加入/etc/rc.local
    echo 'docker start gitlab_redis' >> /etc/rc.local
    echo 'docker start gitlab_mysql' >> /etc/rc.local
    echo 'docker start gitlab' >> /etc/rc.local
    echo 'pipework br1 gitlab 192.168.1.1/[email protected]' >> /etc/rc.local
    

4. GitLab API wrappers

  • 官方推荐:https://about.gitlab.com/applications/
  • python:pyapi-gitlab
    基本使用:
    pip install pyapi-gitlab
    import gitlab
    git = gitlab.Gitlab("http://gitlab.example.com", token="EHBLkwhr_WYzn-sXNnNs")		# token即在页面上Profile settings->Account里能看到自动生成好的Private token
    git.getusers()
    
  • 顺便推荐个Git本身的python api模块:https://github.com/FriendCode/gittle

5. GitLab使用的FAQ

5.1. git代码发布支持2种方法:ssh和http(s)

  • ssh:必须添加ssh key才能发布
  • http:使用用户名、密码,若接入了LDAP,就是LDAP中的账户密码
  • https:暂未测试过

5.2. 限制git上传的单个文件大小

  • 若gitlab是通过sameersbn/gitlab:7.4.3镜像创建的,那么可以通过环境变量NGINX_MAX_UPLOAD_SIZE进行限制

5.3. 通过API进行一些操作例如创建Project,得到成功的响应,但却没有立即生效,过了几秒才生效

  • 由于GitLab为异步架构,Ruby on Rails收到创建Project请求后将该任务推送到Redis中,但是没有等待执行完毕,而是直接返回成功。后台Sidekiq从Redis订阅任务并实时执行,但由于执行需要时间,而API返回很快,因此会造成这种情况发生。目前没有其他解决办法,只能在自己程序逻辑里sleep几秒进行重试

5.4. 页面上”Profile settings->SSH Keys”与”Project Settings里Deploy Keys”的区别

  • Profile settings->SSH Keys:是用户全局的Key,具有对该用户所有项目仓库进行上传下载(push、clone)的权限
  • Project Settings里Deploy Keys:针对某个项目,具有下载(clone)的权限,而不具备上传(push)的权限

5.5. gitlab默认时区是UTC

  • sameersbn/gitlab:7.4.3镜像无法对时区进行修改,若是手动安装的gitlab,可以通过修改一个.rb文件来生效,具体没有测试过,有需要的可以自行百度搜下。

6. GitLab维护

6.1. 数据路径、日志路径

  • 由于gitlab容器在启动时已将宿主/opt/gitlab/data、/opt/gitlab/log目录挂载到容器里,因此可以在宿主上进入这2个目录中查看,另外可以通过docker logs查看。

6.2. 高可用

  • 官方有篇关于GitLab高可用的文章:https://about.gitlab.com/high-availability/
    有1/3都在讲述高可用的利弊以及不同程度的高可用带来的收益及可能引发的更多问题,说的挺有道理的。由于笔者也才刚开始使用GitLab,因此暂不测试多机load balance或failover。
    
  • 2种备份恢复方式
    1. 备份配置、仓库、数据库。
    2. 给文件系统做快照。
    官方认为第二种方法比起第一种更快,因为可以省去人为介入restore的麻烦
    XFS文件系统支持快照
    
    有2篇文章可以拜读下:
    http://www.icicletech.com/blog/gitlab-backup-made-easy 数据库数据备份到本地
    http://doc.gitlab.com/ce/raketasks/backup_restore.html 官方的,和上述其实一样
    
  • 我的备份方案:
    一. 简介:每天固定时间备份数据(仅备份MySQL和GitLab仓库重要文件,其他不备份)。若数据丢失,需要恢复,则将最近备份的数据用来恢复,会将所有数据,包括本地文件(仓库等文件)、数据库一同还原回备份时刻。
    
    二. 具体操作:
    	1. 备份:
    docker run \
    	--name='gitlab_backup' \
    	-it \
    	--rm \
    	--link gitlab_mysql:mysql \
    	--link gitlab_redis:redisio \
    	-v /var/run/docker.sock:/run/docker.sock \
    	-v $(which docker):/bin/docker \
    	-v /opt/gitlab/data:/home/git/data \
    	-v /opt/gitlab/log:/var/log/gitlab \
    	sameersbn/gitlab:7.4.3 app:rake gitlab:backup:create
    
    	   过程能在屏幕上看到,备份会自动打成tar包放入/opt/gitlab/data/backups里。可以自行对该tar包做压缩,例如gzip 时间戳_gitlab_backup.tar。
    	   若$?=0表示备份成功,然后将生成的文件使用gzip压缩为.tar.gz,然后rsync推到存储上
           通过rsync命令传到一台备份存储上
    	2. 恢复:
    docker run \
    	--name='gitlab_restore' \
    	-it \
    	--rm \
    	--link gitlab_mysql:mysql \
    	--link gitlab_redis:redisio \
    	-v /var/run/docker.sock:/run/docker.sock \
    	-v $(which docker):/bin/docker \
    	-v /opt/gitlab/data:/home/git/data \
    	-v /opt/gitlab/log:/var/log/gitlab \
    	sameersbn/gitlab:7.4.3 app:rake gitlab:backup:restore
    
           屏幕上会将/opt/gitlab/data/backups中的所有文件和目录列出来,复制粘贴要恢复的tar包文件名,敲入回车即开始恢复。
    	   注意:恢复时会将当前数据库中的所有表先删掉再导入备份tar包的里sql文件,因此此步要小心。
    
    	   若redis、mysql是使用环境变量带入gitlab容器的,备份和恢复命令也类似,将启动gitlab的命令复制过来,修改下--name,添加一个--rm,CMD改为gitlab:backup:create或gitlab:backup:restore即可
    
    三. 注意:
        1. 用户配置的key(即data/.ssh)是保存在数据库里,在gitlab服务启动时候会从数据库里加载并导入到.ssh里,被gitlab-shell管理
        2. 由于ssh目录(保存着服务器sshd服务启动时自己生成的ssh_key)不备份,因此还原时候若这个目录里有文件,则不去重新生成ssh_key,若不存在,则重新生成。若重新生成,用户使用ssh协议进行git push,会报错告知不合法的认证
        3. 备份只会备份3个目录:repositories、db、uploads,然后会额外生成一个backup_information.yml文件
        4. gitlab-satellites和tmp都是临时目录,因此不参与备份
        5. docker run --rm不会影响容器退出状态的输出
        6. 还原时候会将数据库里的表先DROP表再创建,因为sql文件在INSERT之前会drop table if exists
        7. 还原时候,若存在要恢复的目录,则会将原来的目录mv成.old.时间戳
12-23 12:37