1、报错详情
问题出在Prometheus向tsdb存数据时的时间序列上。首先,out of bounds报错可能是因为当前时间早于最新存放数据的时间。
2、解决方法
针对这个问题,可以尝试以下解决方法:
步骤:
1、查看你的Prometheus ConfigMap 存储配置,找到用于存储 Prometheus 的数据路径。
2、到prometheus的调度节点
备份好数据后,删除存储目录中的旧数据文件。
执行命令 rm -rf 数据路径/*
删除所有旧数据。
比如我的:
重启 Prometheus 服务。
sudo systemctl restart prometheus
或者使用kubectl命令重新应用Prometheus的部署文件:
[root@k8s-master k8s-monitor]# kubectl apply -f prometheus-alertmanager-deploy.yaml
deployment.apps/prometheus-server configured
[root@k8s-master k8s-monitor]#