Alauda Container Platform
  • Русский

    • Управление метриками

    Система мониторинга платформы основана на метриках, собираемых Prometheus / VictoriaMetrics. В этом документе описано, как управлять этими метриками.

    Содержание

    Просмотр метрик, предоставляемых компонентами платформыПросмотр всех метрик, хранящихся в Prometheus / VictoriaMetricsПредварительные условияПроцедурыПросмотр всех встроенных метрик, определённых платформойПредварительные условияПроцедурыИнтеграция внешних метрикПредварительные условияПроцедуры

    Просмотр метрик, предоставляемых компонентами платформы

    Метод мониторинга компонентов кластера в платформе заключается в извлечении метрик, предоставляемых через ServiceMonitor. Метрики в платформе доступны публично через эндпоинт /metrics. Вы можете просмотреть метрики конкретного компонента платформы, используя следующий пример команды:

    curl -s http://<Component IP>:<Component metrics port>/metrics | grep 'TYPE\|HELP'

    Пример вывода:

    # HELP controller_runtime_active_workers Number of currently used workers per controller
# TYPE controller_runtime_active_workers gauge
# HELP controller_runtime_max_concurrent_reconciles Maximum number of concurrent reconciles per controller
# TYPE controller_runtime_max_concurrent_reconciles gauge
# HELP controller_runtime_reconcile_errors_total Total number of reconciliation errors per controller
# TYPE controller_runtime_reconcile_errors_total counter
# HELP controller_runtime_reconcile_time_seconds Length of time per reconciliation per controller

    Просмотр всех метрик, хранящихся в Prometheus / VictoriaMetrics

    Вы можете просмотреть список доступных метрик в кластере, чтобы на их основе написать необходимый PromQL-запрос.

    Предварительные условия

    1. У вас есть пользовательский токен

    2. У вас есть адрес платформы

    Процедуры

    Выполните следующую команду для получения списка метрик с помощью curl:

    curl -k -X 'GET' -H 'Authorization: Bearer <Your token>' 'https://<Your platform access address>/v2/metrics/<Your cluster name>/prometheus/label/__name__/values'

    Пример вывода:

    {
  "status": "success",
  "data": [
    "ALERTS",
  "ALERTS_FOR_STATE",
  "advanced_search_cached_resources_count",
  "alb_error",
  "alertmanager_alerts",
  "alertmanager_alerts_invalid_total",
  "alertmanager_alerts_received_total",
  "alertmanager_cluster_enabled"]
}

    Просмотр всех встроенных метрик, определённых платформой

    Для упрощения использования платформой встроено большое количество часто используемых метрик. Вы можете напрямую использовать эти метрики при настройке оповещений или панелей мониторинга без необходимости их самостоятельного определения. Ниже описано, как просмотреть эти метрики.

    Предварительные условия

    1. У вас есть пользовательский токен

    2. У вас есть адрес платформы

    Процедуры

    Выполните следующую команду для получения списка метрик с помощью curl:

    curl -k -X 'GET' -H 'Authorization: Bearer <Your token>' 'https://<Your platform access address>/v2/metrics/<Your cluster name>/indicators'

    Пример вывода:

    [
  {
  "alertEnabled": true, 
  "annotations": {
   "cn": "Использование CPU контейнерами в компоненте вычислений",
   "descriptionEN": "Cpu utilization for pods in workload",
   "descriptionZH": "CPU utilization of containers in the compute component",
   "displayNameEN": "CPU utilization of the pods",
   "displayNameZH": "CPU utilization of containers in the compute component",
   "en": "Cpu utilization for pods in workload",
   "features": "SupportDashboard", 
   "summaryEN": "CPU usage rate {{.externalLabels.comparison}}{{.externalLabels.threshold}} of Pod ({{.labels.pod}})",
   "summaryZH": "CPU usage rate {{.externalLabels.comparison}}{{.externalLabels.threshold}} of pod ({{.labels.pod}})"
  },
  "displayName": "Использование CPU контейнерами в компоненте вычислений",
  "kind": "workload",
  "multipleEnabled": true,  
  "name": "workload.pod.cpu.utilization",
  "query": "avg by (kind,name,namespace,pod) (avg by (kind,name,namespace,pod,container)(cpaas_advanced_container_cpu_usage_seconds_total_irate5m{kind=~\"{{.kind}}\",name=~\"{{.name}}\",namespace=~\"{{.namespace}}\",container!=\"\",container!=\"POD\"}) / avg by (kind,name,namespace,pod,container)(cpaas_advanced_kube_pod_container_resource_limits{kind=~\"{{.kind}}\",name=~\"{{.name}}\",namespace=~\"{{.namespace}}\",resource=\"cpu\"}))", 
  "summary": "Уровень использования CPU {{.externalLabels.comparison}}{{.externalLabels.threshold}} пода ({{.labels.pod}})",
  "type": "metric",
  "unit": "%",
  "legend": "{{.namespace}}/{{.pod}}",
  "variables": [ 
   "namespace",
   "name",
   "kind"
  ]
 }
]
    1. Поддерживает ли эта метрика настройку оповещений
    2. Поддерживает ли эта метрика использование в панелях мониторинга
    3. Поддерживает ли эта метрика настройку оповещений для нескольких ресурсов
    4. Определённый для метрики PromQL-запрос
    5. Переменные, которые можно использовать в PromQL-запросе метрики

    Интеграция внешних метрик

    Помимо встроенных метрик платформы, вы также можете интегрировать метрики, предоставляемые вашими приложениями или сторонними приложениями через ServiceMonitor или PodMonitor. В этом разделе в качестве примера используется Elasticsearch Exporter, установленный в виде pod в том же кластере.

    Предварительные условия

    Вы установили своё приложение и открыли метрики через указанные интерфейсы. В этом документе предполагается, что ваше приложение установлено в namespace cpaas-system и предоставляет эндпоинт http://<elasticsearch-exporter-ip>:9200/_prometheus/metrics.

    Процедуры

    1. Создайте Service/Endpoint для Exporter, чтобы открыть метрики

      apiVersion: v1
kind: Service
metadata:
  labels:
    chart: elasticsearch
    service_name: cpaas-elasticsearch
  name: cpaas-elasticsearch
  namespace: cpaas-system
spec:
  clusterIP: 10.105.125.99
  ports:
  - name: cpaas-elasticsearch
    port: 9200
    protocol: TCP
    targetPort: 9200
  selector:
    service_name: cpaas-elasticsearch
  sessionAffinity: None
  type: ClusterIP

    2. Создайте объект ServiceMonitor, описывающий метрики, предоставляемые вашим приложением:

      apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: cpaas-monitor
    chart: cpaas-monitor
    heritage: Helm
    prometheus: kube-prometheus
    release: cpaas-monitor
  name: cpaas-elasticsearch-Exporter
  namespace: cpaas-system
spec:
  jobLabel: service_name
  namespaceSelector:
    any: true
  selector:
    matchExpressions:
      - key: service_name
        operator: Exists
  endpoints:
    - port: cpaas-elasticsearch
      path: /_prometheus/metrics
      interval: 60s
      honorLabels: true
      basicAuth:
        password:
          key: ES_PASSWORD
          name: acp-config-secret
        username:
          key: ES_USER
          name: acp-config-secret
      1. К какому Prometheus должен быть синхронизирован ServiceMonitor; оператор будет слушать соответствующий ресурс ServiceMonitor на основе конфигурации serviceMonitorSelector в Prometheus CR. Если метки ServiceMonitor не совпадают с конфигурацией serviceMonitorSelector в Prometheus CR, этот ServiceMonitor не будет отслеживаться оператором.
      2. В каких namespace оператор будет слушать ServiceMonitor на основе конфигурации serviceMonitorNamespaceSelector в Prometheus CR; если ServiceMonitor не находится в serviceMonitorNamespaceSelector Prometheus CR, он не будет отслеживаться оператором.
      3. Метрики, собираемые Prometheus, будут иметь метку job, значение которой соответствует значению метки сервиса, указанной в jobLabel.
      4. ServiceMonitor сопоставляется с соответствующим Service на основе конфигурации namespaceSelector.
      5. ServiceMonitor сопоставляется с Service на основе конфигурации selector.
      6. ServiceMonitor сопоставляется с портом Service на основе конфигурации port.
      7. Путь доступа к Exporter, по умолчанию /metrics.
      8. Интервал, с которым Prometheus опрашивает метрики Exporter.
      9. Если для доступа к пути Exporter требуется аутентификация, необходимо добавить данные аутентификации; поддерживаются также bearer token, tls-аутентификация и другие методы.

    3. Проверьте, отслеживается ли ServiceMonitor Prometheus

      Зайдите в UI компонента мониторинга и проверьте, существует ли задача cpaas-elasticsearch-exporter.

      • Адрес UI Prometheus: https://<Your platform access address>/clusters/<Cluster name>/prometheus-0/targets
      • Адрес UI VictoriaMetrics: https://<Your platform access address>/clusters/<Cluster name>/vmselect/vmui/?#/metrics