欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~
介绍
Drone是一个流行的持续集成和交付平台。它集成了许多流行的版本控制存储库服务,如GitHub,GitLab和Bitbucket,以监视代码更改并在提交时自动构建和测试更改。
在本教程中,我们将演示如何为您的设置完整的Drone持续集成环境。我们将配置受腾讯云SSL保护的Nginx作为Drone的前端。加密对Drone Web界面的请求,并允许CI服务器与源代码服务器安全地集成。
准备
要完成本教程,您需要一台已经设置好可以使用sudo
命令的非root账号的CentOS服务器,并且已开启防火墙。没有服务器的同学可以在这里购买,不过我个人更推荐您使用免费的腾讯云开发者实验室进行试验,学会安装后在购买服务器。
为了加密传输的内容,您还需要SSL证书,如何设置此证书**取决于你是否拥有可解析该服务器的域名。
- 如果你有域名,保护你网站的最简单方法是使用腾讯云SSL证书服务,它提供免费的可信证书。腾讯云SSL证书安装操作指南进行设置。
- 如果你没有域名,建议您先去这里注册一个域名,如果你只是使用此配置进行测试或个人使用,则可以使用自签名证书,不需要购买域名。自签名证书提供了相同类型的加密,但没有域名验证公告。关于自签名证书,你可以参考为Apache创建自签名SSL证书和如何为Nginx创建自签名SSL证书这两篇文章。您需要一个附加到CI服务器的域名才能正确设置它。
同时,您还需要提前安装好Docker、学会使用Docker Compose,并在你的服务器上安装好Nginx,学会配置SSL证书,具体教程如下:
- 如何在Ubuntu安装Docker
- 如何在Ubuntu安装Docker Compose:按照教程的第二步安装Docker Compose。
- 如何在Ubuntu安装Nginx:在服务器上安装Nginx。
- 如何使用Ubuntu的加密来保护Nginx:使用受信任的腾讯云SSL证书保护Nginx。
完成上述教程后,您的Drone服务器应具有:
- sudo为管理任务配置的用户
- 启用了UFW防火墙,阻止除端口22,80和443上的SSH,HTTP和HTTPS请求之外的所有连接。
- 已安装Docker和Docker Compose。
- Nginx服务器配置了由腾讯云提供的SSL证书
接下来我们继续安装教程。
将程序添加到源码存储库
为了监视代码更改以触发构建和测试阶段,Drone将需要访问您的源代码存储库。Drone可以与GitHub,GitLab,Gogs,Bitbucket Cloud和Bitbucket Server集成。
在本教程中,我们将重点关注与GitHub存储库的集成,其他系统应该与本教程类似。如果您使用的是其他源代码存储库,请按照上面的相应链接了解您需要的软件特定配置。
首先访问您的GitHub帐户。点击右上角的用户图标,然后从下拉菜单中选择设置:
接下来,在屏幕左侧的“ 开发人员设置”部分中找到OAuth应用程序项:
在随后的页面上,单击“ 注册新应用程序”:
接下来,您将看到OAuth申请注册表:
填写以下字段(这些字段存在于GitHub上。其他存储库提供程序可能有不同的提示):
- 应用程序名称:您选择用于标识集成的名称。如果您没有特殊需求,“Drone”是一个不错的选择。
- 主页URL:您的Drone服务器的域名。在这里使用
https://
,因为我们使用的是安全域。 - 应用程序描述:Drone的简单描述及其目的。
- 授权回调URL:这必须是
https://
,后跟Drone服务器的域名,后跟/authorize
。如果我们的域名是example.com
,这个文件将是。https://example.com/authorize
准备好后,单击“ 注册应用程序”。
在下一页中,您将看到新应用程序的详细信息。我们需要的两个项目是客户端ID和客户端密钥:
复制这两个值。我们需要这些将Drone连接到我们的GitHub帐户。
拉取Drone Docker镜像并准备配置
可以在服务器上安装和配置Drone。Drone作为Docker容器分发,因此如果我们在Docker Compose
文件中使用它,它将自动下载。为了略微加快这个过程,我们可以提前下拉镜像:
docker pull drone/drone:0.7
Drone Docker镜像是一个统一的容器,可以通过几种不同的方式运行。我们将运行一个作为Drone服务器运行的容器,该服务器协调存储库访问,托管Web UI并提供API。使用具有不同设置的相同镜像,我们将另一个容器作为Drone代理运行,该代理负责从配置的存储库构建和测试软件。
我们将使用Docker Compose在Drone主机上运行这两个容器。首先创建一个配置目录来存储我们需要的文件:
sudo mkdir /etc/drone
接下来,我们将在其中创建一些文件来配置我们的服务。
为Drone创建Docker Compose文件
首先,在配置目录中创建一个Docker Compose文件:
sudo nano /etc/drone/docker-compose.yml
我们将Docker Compose文件格式标记为版本“3”。之后,我们将为上述两种服务定义服务。
drone-server
服务将启动侦听8000
端口的主Drone服务器容器。我们将主机的/var/lib/drone
目录安装在容器内,以便Drone可以保留其数据。我们将服务配置其自动重启,并以我们将在/etc/drone/server.env
创建的文件中定义的环境变量的形式读取更详细的配置说明。
drone-agent
服务使用相同的镜像,从agent
命令开始。它接收来自主Drone服务器实例的指令,因此虽然它不需要一般的网络访问,但它确实需要在Drone服务之后启动。它还需要访问Docker的套接字文件来启动容器以运行实际的构建和测试步骤。与drone-server
服务一样,此服务也将自动重启并读取/etc/drone/agent.env
文件中的环境以进行其他配置。
使用以下Docker Compose文件配置这两个服务。注意文件的YAML格式,因为缩进或格式化中的错误可能导致错误:
version: '3'
services:
drone-server:
image: drone/drone:0.7
ports:
- 127.0.0.1:8000:8000
volumes:
- /var/lib/drone:/var/lib/drone
restart: always
env_file:
- /etc/drone/server.env
drone-agent:
image: drone/drone:0.7
command: agent
depends_on:
- drone-server
volumes:
- /var/run/docker.sock:/var/run/docker.sock
restart: always
env_file:
- /etc/drone/agent.env
完成后,保存并关闭Docker Compose文件。
配置Drone服务器的环境变量文件
接下来,我们需要为的Docker Compose文件中引用的Drone服务器的环境变量文件。
在打开文件之前,我们应该生成一个强密钥来验证代理和服务器组件。虽然我们的设置将在同一台服务器上同时拥有这两个组件,但随着测试基础架构的扩展,强大的密钥至关重要。在命令行上,输入以下命令生成密钥:
LC_ALL=C </dev/urandom tr -dc A-Za-z0-9 | head -c 65 && echo
此命令临时将shell中的语言设置为有限的字符范围。 然后它从/dev/urandom
获取一个随机字节流,并进一步过滤掉任何非字母数字字符。我们将前65个字符作为关键字。
输出看起来与此类似(不要复制下面的值!生成自己的!):
ERmA7xubDvTa8i0wYBlljc9yjT1NJPG7xOlZBwAdMAmBYL4RZE4QngxWcCLowk9KN
复制生成的密钥以在服务器环境文件中使用。创建一个新文件/etc/drone/server.env
并在文本编辑器中打开它:
sudo nano /etc/drone/server.env
文件内,我们定义Drone用于连接的环境变量以启动服务,连接到存储库提供程序以及设置帐户授权策略。您需要先从存储库提供程序复制的值才能正确填写值。
首先,设置DRONE_HOST
和DRONE_SECRET
值。将DRONE_SECRET
设置为您在命令行上生成的密钥。DRONE_HOST
设置通知Drone其可公开访问的地址。 这应该是您的受腾讯云保护的域名,前面是https://
。
# Service settings
DRONE_SECRET=secret_generated_on_command_line
DRONE_HOST=https://example.com
接下来,我们将配置与VCS提供程序的集成,在我们的示例中为GitHub。适合您项目的设置可能会有所不同,具体取决于您的需求以及GitHub资产的组织方式。
我们将锁定我们的Drone安装并通过将DRONE_OPEN
设置为false
来禁用注册。这意味着只有DRONE_ADMIN
中指定的GitHub帐户名才能登录。
确保DRONE_ADMIN
包含您的GitHub帐户名称。
然后,通过将DRONE_GITHUB
设置为true
来激活GitHub集成插件。当我们注册Drone应用程序时,我们将DRONE_GITHUB_CLIENT
和DRONE_GITHUB_SECRET
设置为我们从GitHub OAuth应用程序页面复制的密钥:
# Service settings
DRONE_SECRET=secret_generated_on_command_line
DRONE_HOST=https://example.com
# Registration settings
DRONE_OPEN=false
DRONE_ADMIN=sammytheshark
# GitHub Settings
DRONE_GITHUB=true
DRONE_GITHUB_CLIENT=Client_ID_from_GitHub
DRONE_GITHUB_SECRET=Client_Secret_from_GitHub
我们已完成配置服务器组件。在离开之前,复制DRONE_SECRET
文件中的值。配置代理时,我们需要在下一节中设置相同的密钥。完成后保存并关闭文件。
配置Drone Agent的环境变量文件
接下来,我们将为Drone代理组件创建一个环境文件。打开新文件以设置代理环境变量:
sudo nano /etc/drone/agent.env
我们只需要定义两个值。 DRONE_SECRET
将匹配sever.env
文件中的配置。
DRONE_SERVER
设置将配置代理连接到Drone服务器组件的方式。它将以wss://
协议前缀开头,表示连接将使用加密的Web套接字,后跟Drone服务器的域名,并在末尾附加/ws/broker
:
DRONE_SECRET=secret_generated_on_command_line
DRONE_SERVER=wss://example.com/ws/broker
完成后保存并关闭文件。
配置DRONE系统单元文件
现在我们的配置文件就位,我们可以定义一个systemd
单元文件来管理Drone服务。
在/etc/systemd/system
目录中打开一个新的.service
文件来配置服务:
sudo nano /etc/systemd/system/drone.service
内部粘贴以下内容:
[Unit]
Description=Drone server
After=docker.service nginx.service
[Service]
Restart=always
ExecStart=/usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml up
ExecStop=/usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml stop
[Install]
WantedBy=multi-user.target
第一部分告诉systemd在Docker和Nginx可用后启动此服务。第二部分告诉系统在发生故障时自动重启服务。 然后,它使用Docker Compose和我们之前创建的配置文件定义启动和停止Drone服务的命令。最后,最后一节定义了如何使服务在引导时启动。
完成后保存并关闭文件。
在我们启动Drone服务之前,我们必须配置Nginx。Drone代理需要能够连接到Drone服务器,并且连接依赖于Nginx代理。
配置Nginx到代理请求到Drone
接下来,我们需要修改Nginx的配置以代理对Drone服务器的请求。首先找到处理腾讯云SSL的Nginx配置。通过输入以下内容在所有已启用的服务器块中搜索server_name
属性:
grep -R server_name /etc/nginx/sites-enabled
/etc/nginx/sites-enabled/default: server_name example.com;
/etc/nginx/sites-enabled/default: return 301 https://$server_name$request_uri;
/etc/nginx/sites-enabled/default: server_name example.com;
/etc/nginx/sites-enabled/default:# server_name example.com;
在上面的输出中,域名(在此实例中为example.com
)正在/etc/nginx/sites-enabled/default
文件中定义。 您需要编辑与您的域名关联的文件。
您可能也会看到类似这样的内容:
/etc/nginx/sites-enabled/default: server_name _;
/etc/nginx/sites-enabled/default: return 301 https://$server_name$request_uri;
/etc/nginx/sites-enabled/default: server_name _;
/etc/nginx/sites-enabled/default:# server_name example.com;
在上面的输出中,server_name _
; 表示用作后备机制的服务器块。“_
”主机说明符是无效的主机,因此它永远不会匹配。
在配置中,这些配置与listen
指令配对,后者设置default_server
选项,以便当请求的主机与其他的服务器块不匹配时,将充当默认值。如果找不到与您的域名匹配的server_name
定义,则应使用定义这些回退块的文件。
在文本编辑器中打开与您的域最相关的文件:
sudo nano /etc/nginx/sites-enabled/default
在内部,我们将首先在现有server块之外添加两个部分:
upstream drone {
server 127.0.0.1:8000;
}
map $http_upgrade $connection_upgrade {
default upgrade;
'' close;
}
server {
. . .
第一个块配置一个名为drone
的上游请求,我们可以在其中代理请求。server
指令定义了如何连接到我们的Drone服务,该服务将在端口8000上运行。
第二个块根据$connection_upgrade
变量的值设置一个名为$http_upgrade
的用户定义变量,Nginx在收到“Upgrade”HTTP标头时设置该变量。如果收到Upgrade头,Nginx将设置$connection_upgrade
变量进行升级。如果没有,它将设置为关闭。 这些变量允许我们在代理WebSocket请求时设置正确的标头。
接下来,找到包含listen 443
指令的服务器块。 使用以下指令替换内容。确保注释掉或删除该块中的任何现有配置以避免冲突:
. . .
server {
listen 443 ssl;
. . .
location / {
# try_files $uri $uri/ =404;
proxy_pass http://drone;
include proxy_params;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_redirect off;
proxy_http_version 1.1;
proxy_buffering off;
chunked_transfer_encoding off;
proxy_read_timeout 86400;
}
. . .
}
proxy_pass
行告诉Nginx将此块之外的所有流量传递给我们之前定义的上游。接下来,我们在proxy_params
文件中包含一些代理头定义,并根据之前的地图设置添加其他头。然后,我们调整一些其他特定于代理的设置,以确保WebSocket代理正常工作,并确保我们的组件可以有效地进行通信。
完成保存并关闭文件后。
测试并重新启动Nginx和Drone
我们的配置现已完成。我们只需启动或重启我们的服务即可实现配置。
首先,检查Nginx配置是否存在语法错误:
sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
如果输出指示存在配置问题,请返回并再次检查Nginx配置。重新启动Nginx:
sudo systemctl restart nginx
现在Nginx可用于代理和服务器之间的代理请求,我们可以启动Drone:
sudo systemctl start drone
检查以确保服务能够成功启动:
sudo systemctl status drone
● drone.service - Drone server
Loaded: loaded (/etc/systemd/system/drone.service; disabled; vendor preset: enabled)
Active: active (running) since Fri 2017-06-09 21:56:33 UTC; 2min 58s ago
Main PID: 15225 (docker-compose)
Tasks: 5
Memory: 37.7M
CPU: 1.544s
CGroup: /system.slice/drone.service
├─15225 /usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml up
└─15228 /usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml up
. . .
Jun 09 21:56:35 drone docker-compose[15225]: drone-agent_1 | pipeline: request next execution
如果服务被标记为active (running)
并且日志中没有错误,则Drone已启动并正在运行。
如果遇到问题,可以输入以下命令检查Nginx日志:
sudo less /var/log/nginx/error.log
您可以通过输入以下内容来检查Drone日志:
sudo journalctl -u drone
如果一切正常运行,请通过输入以下内容启用Drone:
sudo systemctl enable drone
在Docker和Nginx服务可用后,Drone服务将启动。
登录Drone以授权访问您的存储库
现在Drone已启动并运行,我们可以登录Web界面并授权应用程序使用我们的GitHub帐户。
在Web浏览器中访问服务器的域名以查看Drone Web界面:
https://example.com
在您第一次访问时,系统将提示您登录:
单击登录使用您的GitHub帐户向Drone进行身份验证。如果您当前未登录GitHub,将首先指示您登录GitHub。
之后,系统将提示您允许Drone访问您的GitHub帐户:
查看请求的权限并进行任何调整后,单击授权用户名按钮以授权Drone。
您将被重定向回您的Drone服务器:
现在,您可以激活和配置存储库以自动测试代码。
结论
在本教程中,我们将Drone设置为GitHub项目的持续集成和交付服务器。我们将Drone设为处理身份验证并侦听来自我们的存储库的更改。我们还配置了一个可以运行测试和管理容器的Drone代理。我们还将Nginx配置为安全的反向代理。如果觉得自建太麻烦,不要着急,腾讯云CCI持续集成服务即将开放,云持续集成(Cloud Continuous Integration,CCI)为开发者提供支持多语言,多终端的持续集成服务,包含定时/手动启动构建、查看构建结果及日志、支持快速分发交付、可扩展的自动化测试等功能,为项目的持续集成体系提供上游基础服务,提升项目研发效率。 更多Linux教程请前往腾讯云+社区学习更多知识。
此文已由作者授权腾讯云+社区发布,原文链接:https://cloud.tencent.com/developer/article/1180481?fromSource=waitui
搜索关注公众号「云加社区」,第一时间获取技术干货,关注后回复1024 送你一份技术课程大礼包!
海量技术实践经验,尽在云加社区!