Minio对象存储
1、概述
2、功能特性
- Amazon S3兼容
Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。 - 数据保护
Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver，但是仍然可以从中恢复。 - 高度可用
Minio服务器可以容忍分布式设置中高达（N / 2）-1节点故障。而且，您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。 - Lambda计算
Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。 - 加密和防篡改
Minio为加密数据提供了机密性，完整性和真实性保证，而且性能开销微乎其微。使用AES-256-GCM，ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。 - 可对接后端存储
除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。 - sdk支持
基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
3、集群规划
3.1、单节点
- 根据存储是否为远端，可直接使用FS或NFS直接操作存储中的Object
- 调用S3接口，通过Minio使用FS或NFS来操作Object
3.2、多节点
多节点的Minio会根据不同的Access_key及Secret_Key来区分不同租户，每个租户可操作对应Server获取Object。Minio Server间可以通过不同的进程模型、容器或是虚拟机来互相隔离。
3.3、分布式
分布式Minio在无共享架构中根据需求扩展到尽可能多的服务器，所有节点需要使用相同的Access_key及Secret_key来登录。分布式Minio使用Web负载均衡器或DNS轮循(DNS round-robin)，在各服务器之间实现负载均衡。
4、分布式minio集群搭建
minio存储的部署方案在官网有很多，例如在docker-compose，kubernetes，DC/OS等环境下，本文采用的是较稳定的二进制部署方式。
4.1、集群规划
minio二进制文件下载地址： https://dl.minio.io/server/minio/release/linux-amd64/minio
操作系统CentOS 7.6
服务器资源：
- 172.16.1.101
/minio/data1 /minio/data2 - 172.16.1.102
/minio/data1 /minio/data2
本集群由2台服务器构成（官方推荐集群最小4台服务器），每个服务器上挂载两个磁盘目录，最小数据挂载点为4个
4.2、创建用户
创建专用的用户
useradd -M -s /sbin/nologin -r minio-user
4.3、创建相关目录（所有节点）
- 数据存储目录
[root@localhost ~]# mkdir -p /minio/data1
[root@localhost ~]# mkdir -p /minio/data2
- 启动脚本目录
[root@localhost ~]# mkdir -p /opt/minio
- 集群配置文件目录
[root@localhost ~]# mkdir -p /etc/minio
4.4、编写集群启动脚本（所有节点）
[root@localhost ~]# vim /opt/minio/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456
/opt/minio/minio server --config-dir /etc/minio \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \
其中，“MINIO_ACCESS_KEY”为用户名，“MINIO_SECRET_KEY”为密码，密码不能设置过于简单，不然minio会启动失败，“–config-dir”指定集群配置文件目录，生成复杂用户名和密码可通过类似Linux命令tr -cd '[:alnum:]' </dev/urandom |fold -w64|head -n1的方式来生成
4.5、编写服务脚本（所有节点）
[root@localhost ~]# vim /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
Wants=network-online.target
After=network-online.target
[Service]
User=minio-user
Group=minio-user
WorkingDirectory=/opt/minio/
ExecStart=/opt/minio/run.sh
# Let systemd restart this service on-failure
Restart=on-failure
RestartSec=5
# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536
# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no
[Install]
WantedBy=multi-user.target
[root@localhost ~]# chmod +x /usr/lib/systemd/system/minio.service
其中，“WorkingDirectory”为启动脚本目录，“ExecStart”为指定集群启动脚本
参考官方地址：
https://github.com/minio/minio-service/blob/master/linux-systemd/minio.service
4.6、服务启动
4.6.1、二进制文件
将minio二进制文件上传到/opt/minio目录下并赋予权限
chmod +x minio
4.6.2、赋予启动脚本权限
chmod +x /opt/minio/run.sh
4.6.3、修改目录所属
由于minio服务由minio-user这个用户启动和运行，所以需要修改相应目录的属主和属组
chown -R minio-user:minio-user /minio
chown -R minio-user:minio-user /etc/minio
chown -R minio-user:minio-user /opt/minio
4.6.4、启动服务
systemctl daemon-reload
systemctl start minio
systemctl enable minio
systemctl status minio
启动后可通过访问节点:9000，并使用设置的key登录到控制台，也可在启动脚本中加入参数--address "127.0.0.1:9000"修改端口，即：
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test123456
/opt/minio/minio server --config-dir /etc/minio \
--address "127.0.0.1:9000" \
http://172.16.1.101/minio/data1 http://172.16.1.101/minio/data2 \
http://172.16.1.102/minio/data1 http://172.16.1.102/minio/data2 \
5、配置域名及https
5.1、配置域名
使用nginx配置域名进行访问，在 Nginx 的配置文件中加入下面的内容：
location / {
proxy_set_header Host $http_host;
proxy_pass http://localhost:9000;
}
5.2、配置https
使用nginx配置https安全访问，并根据301规则自动跳转到https，https证书可自签、也可申请一个浏览器可信的证书，下面的证书属于浏览器可信的，全局配置如下：
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
sendfile on;
server_tokens off;
keepalive_timeout 65;
client_max_body_size 50m;
access_log /var/log/nginx/nginx.access.log;
error_log /var/log/nginx/nginx.error.log;
upstream minio_server {
server 192.168.10.101:9000;
server 192.168.10.102:9000;
ip_hash;
}
server {
listen 80;
server_name minio.test.com;
return 301 https://$host$request_uri;
}
server {
listen 443 ssl;
server_name minio.test.com;
if ($host != 'minio.test.com') {
return 403;
}
ssl_certificate /usr/local/nginx/cert-ssl/minio.test.com.pem;
ssl_certificate_key /usr/local/nginx/cert-ssl/minio.test.com.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://minio_server;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
}
5.3、访问认证
minio控制台界面是通过Accsss Key和Secret Key登录的，除了将这对Key用于客户端，作为管理员还可能有需要对控制台访问做保护，即在用Key登录的基础上再加一层。这就如同非X-pack版本的Kibana界面一样，没有访问控制。同样的，可以尝试使用nginx的basic_auth模块。一番折腾发现是不可行的，对于nginx基础认证，后端不支持非AWS4-HMAC-SHA256签名算法，可能出现如下图所示的返回结果：
因此这个想法不可行，具体如何实现也没有google到。。。
6、控制台界面操作及客户端sdk
6.1、控制台界面
通过上面配置的域名访问到minio界面
并通过指定的Access Key及Secret Key登录到控制台
6.2、控制台界面操作
控制台可以做的操作如下：
- 创建一个存储空间(存储桶)bucket
- 在存储桶内上传下载文件
- 文件生成链接，设置链接过期时间
6.3、客户端sdk
更多内容可查看官网文档
7、多租户部署
多租户的实现可参考：
https://blog.csdn.net/dingjs520/article/details/79118305