#Наблюдаемость сети

#О DeepFlow

#Что такое DeepFlow

Проект с открытым исходным кодом DeepFlow направлен на обеспечение глубокой наблюдаемости сложных облачных и AI-приложений. DeepFlow реализует сбор данных без написания кода с помощью eBPF для метрик, распределённого трассирования, логов запросов и профилирования функций, а также интегрируется с SmartEncoding для достижения полной корреляции Full Stack и эффективного доступа ко всем данным наблюдаемости. С DeepFlow облачные и AI-приложения автоматически получают глубокую наблюдаемость, исключая необходимость постоянного инструментирования кода разработчиками и предоставляя возможности мониторинга и диагностики, охватывающие всё от кода до инфраструктуры для команд DevOps/SRE.

#Использование технологии eBPF

Предполагая, что у вас есть базовое понимание eBPF, это безопасная и эффективная технология расширения функциональности ядра путём запуска программ в песочнице, что является революционным новшеством по сравнению с традиционными методами изменения исходного кода ядра и написания модулей ядра. Программы eBPF являются событийно-ориентированными, и когда ядро или пользовательские программы проходят через eBPF Hook, выполняется соответствующая программа eBPF, загруженная в точку Hook. Ядро Linux предопределяет ряд часто используемых точек Hook, а также можно динамически добавлять пользовательские точки Hook в ядро и приложения с помощью технологий kprobe и uprobe. Благодаря технологии Just-in-Time (JIT) эффективность выполнения кода eBPF может быть сопоставима с нативным кодом ядра и модулями ядра. Благодаря механизму Verification код eBPF выполняется безопасно, не вызывая сбоев ядра или бесконечных циклов.

#Архитектура программного обеспечения

DeepFlow состоит из двух компонентов: Agent и Server. Агент запускается на каждом узле K8s, на устаревших хостах и облачных хостах, и отвечает за сбор данных AutoMetrics и AutoTracing всех процессов приложений на хосте. Server запускается в кластере K8s и предоставляет управление агентами, внедрение тегов, приём и запрос данных.

#Установка DeepFlow

#Введение

#Требования к ядру

Возможности eBPF (AutoTracing, AutoProfiling) в DeepFlow имеют следующие требования к версии ядра:

Дополнительные замечания по версиям ядра:

#Топология развертывания

#Подготовка

#Storage Class

Рекомендуется использовать Persistent Volumes для хранения данных MySQL и ClickHouse, чтобы избежать ненужных затрат на обслуживание. Вы можете указать Storage Class по умолчанию или добавить параметр --set global.storageClass=<your storageClass>, чтобы выбрать Storage Class для создания PVC.

Для получения дополнительной информации о настройке хранилища обратитесь к документации по Storage.

#Пакет

#Загрузка пакета DeepFlow

Перейдите на Custom Portal для загрузки пакета DeepFlow.

Если у вас нет доступа к Custom Portal, обратитесь в техническую поддержку.

#Загрузка пакета на платформу

Используйте инструмент violet для публикации пакета на платформу.

Подробные инструкции по использованию этого инструмента см. в разделе CLI.

#Установка

Создайте ресурс приложения в пространстве имён cpaas-system для развертывания DeepFlow. Пример манифеста:

apiVersion: app.k8s.io/v1beta1
kind: Application
metadata:
  name: deepflow
  namespace: cpaas-system
  annotations:
    app.cpaas.io/chart.source: public-charts/deepflow-plugin
    app.cpaas.io/chart.version: v4.1.0
    app.cpaas.io/chart.values: |
      {
        "global": {
          "storageClass": "example-sc"
        },
        "server": {
          "service": {
            "type": "ClusterIP"
          }
        },
        "deepflow-agent": {
          "clusterNAME": "cluster1"
        },
        "grafana": {
          "adminUser": "admin",
          "adminPassword": "password",
          "service": {
            "type": "ClusterIP"
          },
          "grafana.ini": {
            "server": {
              "root_url": "%(protocol)s://%(domain)s/clusters/cluster1/deepflow",
              "serve_from_sub_path": true
            }
          }
        },
        "mysql": {
          "storageConfig": {
            "persistence": {
              "size": "50G"
            }
          }
        },
        "clickhouse": {
          "storageConfig": {
            "persistence": [
              {
                "accessModes": [
                  "ReadWriteOnce"
                ],
                "name": "clickhouse-path",
                "size": "100Gi",
                "storageClass": "{{ .Values.global.storageClass }}"
              },
              {
                "accessModes": [
                  "ReadWriteOnce"
                ],
                "name": "clickhouse-storage-path",
                "size": "200Gi",
                "storageClass": "{{ .Values.global.storageClass }}"
              }
            ]
          }
        }
      }
    cpaas.io/display-name: 'DeepFlow'
  labels:
    sync-from-helmrequest: 'true'

Дождитесь готовности приложения:

kubectl -n cpaas-system wait --for=jsonpath='{.spec.assemblyPhase}'=Succeeded application deepflow
kubectl -n cpaas-system rollout status statefulset deepflow-clickhouse
kubectl -n cpaas-system rollout status deployment deepflow-mysql
kubectl -n cpaas-system rollout status deployment deepflow-server
kubectl -n cpaas-system rollout status deployment deepflow-app
kubectl -n cpaas-system rollout status deployment deepflow-grafana
kubectl -n cpaas-system rollout status daemonset deepflow-agent

#Настройка Ingress для веб-интерфейса Grafana

Создайте ресурс Ingress для доступа к веб-интерфейсу Grafana. Пример манифеста:

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/backend-protocol: http
    nginx.ingress.kubernetes.io/enable-cors: "true"
  name: deepflow-grafana
  namespace: cpaas-system
spec:
  ingressClassName: cpaas-system
  rules:
  - http:
      paths:
      - backend:
          service:
            name: deepflow-grafana
            port:
              number: 80
        path: /clusters/${CLUSTER_NAME}/deepflow($|/)(.*)
        pathType: ImplementationSpecific

#Доступ к веб-интерфейсу Grafana

Вы можете получить доступ к веб-интерфейсу Grafana по URL, указанному в ресурсе Ingress, и войти, используя имя пользователя и пароль, заданные в ресурсе Application.

#Дополнительные ресурсы

• Мгновенная наблюдаемость для облачных и AI-приложений
• eBPF — введение, учебные материалы и ресурсы сообщества