#Настройка ALB

#ALB

ALB — это кастомный ресурс, представляющий балансировщик нагрузки. alb-operator, который по умолчанию встроен во все кластеры, отслеживает операции создания/обновления/удаления ресурсов ALB и создает соответствующие деплойменты и сервисы в ответ.

Для каждого ALB соответствующий Deployment следит за всеми Frontends и Rules, прикрепленными к этому ALB, и маршрутизирует запросы на бэкенды на основе этих конфигураций.

#Предварительные требования

Высокая доступность Load Balancer требует VIP. Пожалуйста, ознакомьтесь с разделом Настройка VIP.

#Настройка ALB

Конфигурация ALB состоит из трех частей.

# test-alb.yaml
apiVersion: crd.alauda.io/v2beta1
kind: ALB2
metadata:
  name: alb-demo
  namespace: cpaas-system
spec:
  address: 192.168.66.215
  config:
    vip:
      enableLbSvc: false
      lbSvcAnnotations: {}
    networkMode: host
    nodeSelector:
      cpu-model.node.kubevirt.io/Nehalem: 'true'
    replicas: 1
    resources:
      alb:
        limits:
          cpu: 200m
          memory: 256Mi
        requests:
          cpu: 200m
          memory: 256Mi
      limits:
        cpu: 200m
        memory: 256Mi
      requests:
        cpu: 200m
        memory: 256Mi
    projects:
      - ALL_ALL
  type: nginx

#Конфигурация, связанная с ресурсами

Поля, связанные с ресурсами, описывают конфигурацию деплоймента для alb.

#Конфигурация сети

Поля сети описывают, как получить доступ к ALB. Например, в режиме host alb использует hostnetwork, и вы можете получить доступ к ALB по IP узла.

#Конфигурация проекта

Добавление ALB в проект означает:

1. В веб-интерфейсе только пользователи данного проекта смогут найти и настроить этот ALB.
2. Этот ALB будет обрабатывать ingress ресурсы, принадлежащие этому проекту. См. ingress-sync.
3. В веб-интерфейсе правила, созданные в проекте X, не будут видны и не смогут быть настроены в проекте Y.

Если вы включите порт-проект и назначите диапазон портов проекту, это означает:

1. Вы не сможете создавать порты, не входящие в назначенный проекту диапазон портов.

#Настройка дополнительных параметров

В alb cr есть некоторые глобальные настройки, которые можно изменить.

• Привязка NIC
• Синхронизация Ingress

#Операции с ALB

#Создание

#Через веб-консоль

Некоторые общие настройки доступны в веб-интерфейсе. Следуйте этим шагам для создания балансировщика нагрузки:

1. Перейдите в раздел Administrator.
2. В левой боковой панели нажмите Network Management > Load Balancer.
3. Нажмите Create Load Balancer.

Каждое поле ввода в веб-интерфейсе соответствует полю CR:

#Через CLI

kubectl apply -f test-alb.yaml -n cpaas-system

#Обновление

#Через веб-консоль

1. Войдите в Administrator.

2. В левой навигационной панели нажмите Network Management > Load Balancer.

3. Нажмите ⋮ > Update.

4. Обновите сетевые и ресурсные настройки по необходимости.

   • Пожалуйста, задавайте спецификации разумно в соответствии с бизнес-требованиями. Также можно обратиться к соответствующему руководству Как правильно распределять CPU и память.

   • Внутренний роутинг поддерживает только обновление из состояния Disabled в состояние Enabled.

5. Нажмите Update.

#Удаление

#Через веб-консоль

1. Войдите в Administrator.

2. В левой навигационной панели нажмите Network Management > Load Balancer.

3. Нажмите ⋮ > Delete и подтвердите.

#Через CLI

kubectl delete alb2 alb-demo -n cpaas-system

#Frontend

Frontend — это кастомный ресурс, который определяет порт слушателя и протокол для ALB. Поддерживаемые протоколы: L7 (http|https|grpc|grpcs) и L4 (tcp|udp).

• В L4 Proxy используйте frontend для прямой настройки backend-сервиса.
• В L7 Proxy используйте frontend для настройки портов слушателя, а для настройки backend-сервиса используйте rule.

Если необходимо добавить HTTPS-порт слушателя, следует также обратиться к администратору для назначения TLS-сертификата текущему проекту для шифрования.

#Предварительные требования

Сначала создайте ALB.

#Настройка Frontend

# alb-frontend-demo.yaml
apiVersion: crd.alauda.io/v1
kind: Frontend
metadata:
  labels:
    alb2.cpaas.io/name: alb-demo
  name: alb-demo-00080
  namespace: cpaas-system
spec:
  port: 80
  protocol: http
  certificate_name: ''
  backendProtocol: 'http'
  serviceGroup:
    session_affinity_policy: ''
    services:
      - name: hello-world
        namespace: default
        port: 80
        weight: 100

#Операции с Frontend

#Создание

#Через веб-консоль

1. Перейдите в Container Platform.

2. В левой навигационной панели нажмите Network > Load Balancing.

3. Нажмите на имя балансировщика нагрузки, чтобы перейти на страницу деталей.

4. Нажмите Add Port.

Каждое поле ввода в веб-интерфейсе соответствует полю CR

#Через CLI

kubectl apply -f alb-frontend-demo.yaml -n cpaas-system

#Последующие действия

Для трафика с портов HTTP, gRPC и HTTPS, помимо группы внутреннего роутинга по умолчанию, можно настроить более разнообразные правила сопоставления backend-сервисов rules. Балансировщик нагрузки сначала сопоставит соответствующий backend-сервис согласно заданным правилам; если совпадение не найдено, будет использован backend-сервис из упомянутой внутренней группы роутинга.

#Связанные операции

Вы можете нажать на значок ⋮ справа на странице списка или нажать Actions в правом верхнем углу страницы деталей для обновления маршрута по умолчанию или удаления порта слушателя по необходимости.

#Rule

Rule — это кастомный ресурс (CR), который определяет, как входящие запросы сопоставляются и обрабатываются ALB.

Ingress, обрабатываемые ALB, могут быть автоматически преобразованы в правила.

#Предварительные требования

• Настройка ALB
• Настройка Frontend

Ниже приведен демонстрационный rule для быстрого понимания принципа использования правил.

apiVersion: crd.alauda.io/v1
kind: Rule
metadata:
  labels:
    alb2.cpaas.io/frontend: alb-demo-00080
    alb2.cpaas.io/name: alb-demo
  name: alb-demo-00080-test
  namespace: cpaas-system
spec:
  backendProtocol: 'https'
  certificate_name: 'a/b'
  dslx:
    - type: URL
      values:
        - - STARTS_WITH
          - /
  priority: 4
  serviceGroup:
    services:
      - name: hello-world
        namespace: default
        port: 80
        weight: 100

#Сопоставление запроса с dslx и приоритетом

#dslx

DSLX — это предметно-ориентированный язык для описания критериев сопоставления. Например, приведенное ниже правило сопоставляет запрос, который удовлетворяет всем следующим условиям:

• url начинается с /app-a или /app-b
• метод POST
• параметр url с ключом group равен vip
• host заканчивается на *.app.com
• заголовок LOCATION равен east-1 или east-2
• есть cookie с именем uid
• исходные IP находятся в диапазоне 1.1.1.1-1.1.1.100

dslx:
  - type: METHOD
    values:
      - - EQ
        - POST
  - type: URL
    values:
      - - STARTS_WITH
        - /app-a
      - - STARTS_WITH
        - /app-b
  - type: PARAM
    key: group
    values:
      - - EQ
        - vip
  - type: HOST
    values:
      - - ENDS_WITH
        - .app.com
  - type: HEADER
    key: LOCATION
    values:
      - - IN
        - east-1
        - east-2
  - type: COOKIE
    key: uid
    values:
      - - EXIST
  - type: SRC_IP
    values:
      - - RANGE
        - '1.1.1.1'
        - '1.1.1.100'

#Приоритет

Приоритет — целое число от 0 до 10, где меньшее значение означает более высокий приоритет. Для настройки приоритета правила в ingress можно использовать следующую аннотацию:

# alb.cpaas.io/ingress-rule-priority-$rule_index-$path_index
alb.cpaas.io/ingress-rule-priority-0-0: '10'

Для правил приоритет задается напрямую в .spec.priority целым числом.

#Действия

После того, как запрос совпал с правилом, можно применить следующие действия к запросу

#Backend

#backend protocol

По умолчанию протокол backend установлен в HTTP. Если требуется TLS-перенаправление, можно настроить HTTPS.

#Группа сервисов и политика сохранения сессии

В правиле можно настроить один или несколько сервисов.

По умолчанию ALB использует алгоритм round-robin (RR) для распределения запросов между backend-сервисами. Однако можно назначать веса отдельным сервисам или выбрать другой алгоритм балансировки.

Подробнее см. Алгоритм балансировки.

#Операции с Rule

#Через веб-консоль

1. Перейдите в Container Platform.
2. В левой навигационной панели нажмите Network > Load Balancing.
3. Нажмите на имя балансировщика нагрузки.
4. Выберите имя порта слушателя.
5. Нажмите Add Rule.
6. Настройте параметры согласно описаниям ниже.
7. Нажмите Add.

Каждое поле ввода в веб-интерфейсе соответствует полю CR

#Через CLI

kubectl apply -f alb-rule-demo.yaml -n cpaas-system

#HTTPS

Если протокол frontend (ft) — HTTPS или GRPCS, правило также может быть настроено для использования HTTPS.

Сертификат можно указать либо в правиле, либо в ingress для сопоставления сертификата с конкретным портом.

Поддерживается терминaция, а также повторное шифрование, если backend протокол HTTPS. Однако нельзя указывать сертификат для связи с backend-сервисом.

#Аннотация сертификата в Ingress

Сертификаты могут ссылаться на секреты в разных пространствах имен через аннотацию.

alb.networking.cpaas.io/tls: qq.com=cpaas-system/dex.tls,qq1.com=cpaas-system/dex1.tls

#Сертификат в Rule

В .spec.certificate_name формат $secret_namespace/$secret_name

#Режим TLS

#Edge Mode

В режиме edge клиент общается с ALB по HTTPS, а ALB общается с backend-сервисами по HTTP. Для этого:

1. создайте ft с протоколом https
2. создайте rule с backend протоколом http и укажите сертификат через .spec.certificate_name

#Re-encrypt Mode

В режиме re-encrypt клиент общается с ALB по HTTPS, а ALB общается с backend-сервисами по HTTPS. Для этого:

1. создайте ft с протоколом https
2. создайте rule с backend протоколом https и укажите сертификат через .spec.certificate_name

#Ingress

#Синхронизация Ingress

Каждый ALB создает IngressClass с таким же именем и обрабатывает ingress в пределах одного проекта.

Если у ingress namespace есть метка вида cpaas.io/project: demo, это означает, что ingress принадлежит проекту demo.

ALB, у которых в конфигурации .spec.config.projects указан проект demo, автоматически преобразуют эти ingress в правила.

#SSL-стратегия

Для ingress без настроенных сертификатов ALB предоставляет стратегию использования сертификата по умолчанию.

Вы можете настроить кастомный ресурс ALB следующими параметрами:

• .spec.config.defaultSSLStrategy: определяет SSL-стратегию для ingress без сертификатов
• .spec.config.defaultSSLCert: задает сертификат по умолчанию в формате $secret_ns/$secret_name

Доступные SSL-стратегии:

• Never: не создавать правила на HTTPS-портах (поведение по умолчанию)
• Always: создавать правила на HTTPS-портах с использованием сертификата по умолчанию

#Логи и мониторинг

Сочетая логи и данные мониторинга, вы можете быстро выявлять и устранять проблемы балансировщика нагрузки.

#Просмотр логов

1. Перейдите в Administrator.

2. В левой навигационной панели нажмите Network Management > Load Balancer.

3. Нажмите на Имя балансировщика нагрузки.

4. Во вкладке Logs просматривайте логи работы балансировщика нагрузки с точки зрения контейнера.

#Метрики мониторинга

1. Перейдите в Administrator.

2. В левой навигационной панели нажмите Network Management > Load Balancer.

3. Нажмите на Имя балансировщика нагрузки.

4. Во вкладке Monitoring просматривайте информацию о тенденциях метрик балансировщика нагрузки с точки зрения узла.

   • Usage Rate: текущее использование CPU и памяти балансировщиком нагрузки на данном узле.

   • Throughput: общий входящий и исходящий трафик экземпляра балансировщика нагрузки.

Для более подробной информации о метриках мониторинга смотрите ALB Monitoring.