我正在尝试将Velero用作Google Cloud Platform中具有多个GCP区域(例如,europe-north1和europe-west4)的Google Cloud Platform的备份和灾难恢复工具,以用于GKE私有(private)集群。我能够在同一地区使用velero成功地备份和还原(在europe-north1中备份了gke集群,并在europe-north1中恢复了另一个gke集群),没有任何问题。之所以能正常工作,是因为两个群集的快照存储在同一区域(europe-north1)中。
但是我想将velero用作GKE集群的灾难恢复工具,以便可以备份Europe-north1地区的GKE集群并将其还原到Europe-west4地区。在进一步研究中,我发现通过对velero的enabling CSI plugin支持,我可以实现相同的目标。因此,我遵循了在velero中使用CSI插件的准则,但是我仍然无法将永久性磁盘PVC还原到另一个区域。快照被视为多区域(例如eu)。但是,当我运行velero restore命令时,pod创建(我以wordpress和mysql pod为例)处于“待处理”状态。
kubectl describe pod(mysql和wordpress)给出以下错误:
Normal NotTriggerScaleUp 72s (x31 over 6m12s) cluster-autoscaler pod didn't trigger scale-up (it wouldn't fit if a new node is added):
Warning FailedScheduling 60s (x11 over 6m14s) default-scheduler 0/4 nodes are available: 4 node(s) had volume node affinity conflict.
发生此错误是因为PVC创建的google永久磁盘与GKE群集位于不同的区域。检查磁盘,我可以看到restore命令创建了两个磁盘,但是它们仍是在europe-north1区域(主gke集群区域)中创建的,而不是在辅助gke集群所在的europe-west4区域中创建的。由于这是velero(CSI插件)的一项新功能,因此我找不到在GCP中使用它的任何文档(有一个文档显示CSI implementation with Azure Disks)
CSI插件与velero备份一起使用的最低要求:
kubernetes version : 1.17
velero version: 1.4.2
Velero版本velero version
Client:
Version: v1.4.2
Git commit: 56a08a4d695d893f0863f697c2f926e27d70c0c5
Server:
Version: v1.4.2
GKE集群kubernetes版本(使用GcePersistentDiskCsiDriver = ENABLED插件创建的GKE集群):v1.17.9-gke.600
主要地区:europe-north1
辅助(DR)区域:europe-west4
用于安装velero服务器的命令(启用CSI插件):velero install \
--features=EnableCSI \
--provider=gcp \
--image=gcr.io/$project/velero:v1.4.2 \
--plugins=gcr.io/$project/velero-plugin-for-gcp:v1.1.0,gcr.io/$project/velero-plugin-for-csi:v0.1.0 \
--bucket=$storagebucket \
--secret-file=$HOME/./velero-backup-storage-sa-key.json
我为此参考的其他文件:https://velero.io/docs/v1.4/csi/#installing-velero-with-csi-support
https://cloud.google.com/kubernetes-engine/docs/how-to/persistent-volumes/gce-pd-csi-driver
任何帮助将非常感激。
最佳答案
在GCP中,默认情况下,VolumeSnapshots是多区域的(但单个地域-美国,欧洲或亚洲)。我已经成功测试了GCP中从us-central1到us-east4的StatefulSet的跨区域还原。但有一个警告是,我使用了区域磁盘并创建了配置了allowedTopologies
的特定于区域/区域的StorageClass。这是我的还原SC:
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
annotations:
storageclass.kubernetes.io/is-default-class: "true"
name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
type: pd-ssd
replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
- key: topology.gke.io/zone
values:
- us-east4-b
- us-east4-c
这是备份区域的SC:kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
annotations:
storageclass.kubernetes.io/is-default-class: "true"
name: regional-pd-ssd-csi-storageclass
provisioner: pd.csi.storage.gke.io
parameters:
type: pd-ssd
#replication-type is one of none or regional-pd, defaults to none (zonal PD)
replication-type: regional-pd
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowedTopologies:
- matchLabelExpressions:
- key: topology.gke.io/zone
values:
- us-central1-a
- us-central1-b
也许可以在没有区域磁盘的情况下使用allowedTopologies
,但是EBS CSI驱动程序不支持该参数(据我所知)。