集成您自己的 Prometheus
KubeSphere 自带一些预装的自定义监控组件,包括 Prometheus Operator、Prometheus、Alertmanager、Grafana(可选)、各种 ServiceMonitor、node-exporter 和 kube-state-metrics。在您安装 KubeSphere 之前,这些组件可能已经存在。在 KubeSphere 3.4 中,您可以使用自己的 Prometheus 堆栈设置。
集成您自己的 Prometheus
要使用您自己的 Prometheus 堆栈设置,请执行以下步骤:
步骤 1:卸载 KubeSphere 的自定义 Prometheus 堆栈
执行以下命令,卸载堆栈:
kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/alertmanager/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/devops/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/etcd/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/grafana/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/kube-state-metrics/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/node-exporter/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/upgrade/ 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus-rules-v1.16\+.yaml 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus-rules.yaml 2>/dev/null kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/prometheus 2>/dev/null # Uncomment this line if you don't have Prometheus managed by Prometheus Operator in other namespaces. # kubectl -n kubesphere-system exec $(kubectl get pod -n kubesphere-system -l app=ks-installer -o jsonpath='{.items[0].metadata.name}') -- kubectl delete -f /kubesphere/kubesphere/prometheus/init/ 2>/dev/null
删除 Prometheus 使用的 PVC。
kubectl -n kubesphere-monitoring-system delete pvc `kubectl -n kubesphere-monitoring-system get pvc | grep -v VOLUME | awk '{print $1}' | tr '\n' ' '`
步骤 2:安装您自己的 Prometheus 堆栈
备注
KubeSphere 3.4 已经过认证,可以与以下 Prometheus 堆栈组件搭配使用:
- Prometheus Operator v0.55.1+
- Prometheus v2.34.0+
- Alertmanager v0.23.0+
- kube-state-metrics v2.5.0
- node-exporter v1.3.1
请确保您的 Prometheus 堆栈组件版本符合上述版本要求,尤其是 node-exporter 和 kube-state-metrics。
如果只安装了 Prometheus Operator 和 Prometheus,请您务必安装 node-exporter 和 kube-state-metrics。node-exporter 和 kube-state-metrics 是 KubeSphere 正常运行的必要条件。
如果整个 Prometheus 堆栈已经启动并运行,您可以跳过此步骤。
Prometheus 堆栈可以通过多种方式进行安装。下面的步骤演示如何使用 ks-installer 中的 Prometheus stack manifests (其由 KubeSphere 基于 kube-prometheus 的定制版本生成) 将 Prometheus 堆栈安装至命名空间 monitoring
中。
获取 KubeSphere 3.4 所使用的
ks-installer
。cd ~ && git clone -b release-3.4 https://github.com/kubesphere/ks-installer.git && cd ks-installer/roles/ks-monitor/files/prometheus
创建
kustomization.yaml
:# create cat <<EOF > kustomization.yaml apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization namespace: monitoring resources: EOF # append yaml paths find . -mindepth 2 -name "*.yaml" -type f -print | sed 's/^/- /' >> kustomization.yaml
(可选)移除不必要的组件。例如,KubeSphere 未启用 Grafana 时,可以删除
kustomization.yaml
中的grafana
部分:sed -i '/grafana\//d' kustomization.yaml
安装堆栈。
kubectl apply -k .
步骤 3:将 KubeSphere 自定义组件安装至您的 Prometheus 堆栈
备注
如果您的 Prometheus 堆栈是通过 ks-installer 中的 Prometheus stack manifests 进行安装,您可以跳过此步骤。
KubeSphere 3.4 使用 Prometheus Operator 来管理 Prometheus/Alertmanager 配置和生命周期、ServiceMonitor(用于管理抓取配置)和 PrometheusRule(用于管理 Prometheus 记录/告警规则)。
如果您的 Prometheus 堆栈不是由 Prometheus Operator 进行管理,您可以跳过此步骤。但请务必确保:
您必须将 PrometheusRule 和 PrometheusRule for etcd 中的记录/告警规则复制至您的 Prometheus 配置中,以便 KubeSphere 3.4 能够正常运行。
配置您的 Prometheus,使其抓取指标的目标 (Target) 与 各组件的 serviceMonitor 文件中列出的目标相同。
获取 KubeSphere 3.4 所使用的
ks-installer
。cd ~ && git clone -b release-3.4 https://github.com/kubesphere/ks-installer.git && cd ks-installer/roles/ks-monitor/files/prometheus
创建
kustomization.yaml
,填充如下内容。apiVersion: kustomize.config.k8s.io/v1beta1 kind: Kustomization namespace: <your own namespace> resources: - ./alertmanager/alertmanager-secret.yaml - ./etcd/prometheus-rulesEtcd.yaml - ./kube-state-metrics/kube-state-metrics-serviceMonitor.yaml - ./kubernetes/kubernetes-prometheusRule.yaml - ./kubernetes/kubernetes-serviceKubeControllerManager.yaml - ./kubernetes/kubernetes-serviceKubeScheduler.yaml - ./kubernetes/kubernetes-serviceMonitorApiserver.yaml - ./kubernetes/kubernetes-serviceMonitorCoreDNS.yaml - ./kubernetes/kubernetes-serviceMonitorKubeControllerManager.yaml - ./kubernetes/kubernetes-serviceMonitorKubeScheduler.yaml - ./kubernetes/kubernetes-serviceMonitorKubelet.yaml - ./node-exporter/node-exporter-serviceMonitor.yaml - ./prometheus/prometheus-clusterRole.yaml
备注
- 将此处
namespace
的值设置为您自己的命名空间。例如,如果您在步骤 2 将 Prometheus 安装在命名空间monitoring
中,这里即为monitoring
。 - 如果您启用了 KubeSphere 的告警,还需要将
thanos-ruler
的 yaml 文件路径补充到kustomization.yaml
中。
- 将此处
安装以上 KubeSphere 必要组件。
kubectl apply -k .
在您自己的命名空间中查找 Prometheus CR,通常为 k8s。
kubectl -n <your own namespace> get prometheus
将 Prometheus 规则评估间隔设置为 1m,与 KubeSphere 3.4 的自定义 ServiceMonitor 保持一致。规则评估间隔应大于或等于抓取间隔。
kubectl -n <your own namespace> patch prometheus k8s --patch '{ "spec": { "evaluationInterval": "1m" } }' --type=merge
步骤 4:更改 KubeSphere 的 monitoring endpoint
您自己的 Prometheus 堆栈现在已启动并运行,您可以更改 KubeSphere 的监控 Endpoint 来使用您自己的 Prometheus。
运行以下命令,编辑
kubesphere-config
。kubectl edit cm -n kubesphere-system kubesphere-config
搜索
monitoring endpoint
部分,如下所示。monitoring: endpoint: http://prometheus-operated.kubesphere-monitoring-system.svc:9090
将
endpoint
的值更改为您自己的 Prometheus。monitoring: endpoint: http://prometheus-operated.monitoring.svc:9090
如果您启用了 KubeSphere 的告警组件,请搜索
alerting
的prometheusEndpoint
和thanosRulerEndpoint
,并参照如下示例修改。KubeSphere Apiserver 将自动重启使设置生效。... alerting: ... prometheusEndpoint: http://prometheus-operated.monitoring.svc:9090 thanosRulerEndpoint: http://thanos-ruler-operated.monitoring.svc:10902 ... ...
警告
monitoring endpoint
会重置为初始值。此时,您需要再次将其更改为您自己的 Prometheus。反馈
这篇文章对您有帮助吗?
通过邮件接收 KubeSphere 最新的技术博客与产品更新的通知
感谢您的反馈。如果您有关于如何使用 KubeSphere 的具体问题,请在 Slack 上提问。如果您想报告问题或提出改进建议,请在 GitHub 存储库中打开问题。