#Настройка подсетей

#Правила выделения IP

• Выделение для проекта:

  • Если проект не привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если проект привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из этой конкретной подсети.

• Выделение для пространства имён:

  • Если пространство имён не привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если пространство имён привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из этой конкретной подсети.

#Сеть Calico

Создание подсетей в сети Calico для достижения более тонкой изоляции ресурсов внутри кластера.

#Ограничения и особенности

В среде кластера с IPv6 подсети, создаваемые в сети Calico, по умолчанию используют инкапсуляцию VXLAN. Порты, необходимые для инкапсуляции VXLAN, отличаются от портов для инкапсуляции IPIP. Необходимо убедиться, что открыт UDP порт 4789.

#Пример custom resource (CR) подсети с сетью Calico

# test-calico-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-calico
spec:
  cidrBlock: 10.1.1.1/24
  default: false
  ipipMode: Always
  natOutgoing: true
  private: false
  protocol: Dual
  v4blockSize: 30

#Создание подсети в сети Calico через веб-консоль

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   CIDR	После назначения подсети проекту или пространству имён, контейнерные группы в этом пространстве будут случайным образом использовать IP-адреса из этого CIDR для связи. Примечание: Соответствие между CIDR и BlockSize смотрите в Reference Content.
   Encapsulation Protocol	Выберите протокол инкапсуляции. IPIP не поддерживается в режиме dual-stack. IPIP: реализует межсегментную связь с помощью протокола IPIP. VXLAN (Alpha): реализует межсегментную связь с помощью протокола VXLAN. No Encapsulation: прямое соединение через маршрутизацию.
   Encapsulation Mode	При протоколе инкапсуляции IPIP или VXLAN необходимо указать режим инкапсуляции, по умолчанию Always. Always: всегда включать туннели IPIP / VXLAN. Cross Subnet: включать туннели IPIP / VXLAN только если хосты находятся в разных подсетях; при нахождении в одной подсети — прямое соединение через маршрутизацию.
   Outbound Traffic NAT	Выберите, включать ли NAT исходящего трафика (Network Address Translation), по умолчанию включено. Используется для установки адреса доступа, видимого из внешней сети, когда контейнерные группы подсети выходят в интернет. При включенном NAT исходящего трафика в качестве адреса доступа используется IP хоста; при отключённом — IP контейнерных групп подсети напрямую видны во внешней сети.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Allocate Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в сети Calico через CLI

kubectl apply -f test-calico-subnet.yaml

#Reference Content

Динамическое соответствие между CIDR и blockSize показано в таблице ниже.

#Сеть Kube-OVN

Создание подсети в Overlay-сети Kube-OVN для более тонкой изоляции ресурсов в кластере.

#Пример custom resource (CR) подсети с Overlay-сетью Kube-OVN

# test-overlay-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-overlay-subnet
spec:
  default: false
  protocol: Dual
  cidrBlock: 10.1.0.0/23
  natOutgoing: true
  excludeIps:
    - 10.1.1.2
  gatewayType: distributed
  gatewayNode: ""
  private: false
  enableEcmp: false

#Создание подсети в Overlay-сети Kube-OVN через веб-консоль

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   Network Segment	После назначения подсети проекту или пространству имён IP из этого сегмента будут случайным образом выделяться для использования Pods.
   Reserved IP	Указанные зарезервированные IP не будут автоматически выделяться. Например, могут использоваться как фиксированные IP для вычислительных компонентов.
   Gateway Type	Выберите тип шлюза для подсети для управления исходящим трафиком. - Distributed: каждый хост в кластере может выступать в роли исходящего узла для Pods на текущем хосте, обеспечивая распределённый выход в сеть. - Centralized: все Pods кластера используют один или несколько конкретных хостов в качестве исходящих узлов, что облегчает внешний аудит и контроль межсетевого экрана. Настройка нескольких централизованных gateway nodes обеспечивает высокую доступность.
   ECMP (Alpha)	При выборе Centralized gateway можно использовать функцию ECMP. По умолчанию шлюз работает в режиме мастер-слейв, только мастер-шлюз обрабатывает трафик. При включении ECMP (Equal-Cost Multipath Routing) исходящий трафик маршрутизируется по нескольким равнозначным путям ко всем доступным узлам шлюза, увеличивая суммарную пропускную способность шлюза. Примечание: необходимо предварительно включить соответствующие функции.
   Gateway Nodes	При использовании Centralized gateway выберите один или несколько конкретных хостов в качестве узлов шлюза.
   Outbound Traffic NAT	Выберите, включать ли NAT исходящего трафика (Network Address Translation). По умолчанию включено. Используется для установки адреса доступа, видимого из внешней сети, когда Pods подсети выходят в интернет. При включенном NAT исходящего трафика в качестве адреса доступа используется IP хоста; при отключённом — IP Pods подсети напрямую видны во внешней сети. В этом случае рекомендуется использовать централизованный шлюз.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в Overlay-сети Kube-OVN через CLI

kubectl apply -f test-overlay-subnet.yaml

#Underlay-сеть

Создание подсетей в Underlay-сети Kube-OVN не только обеспечивает более тонкую изоляцию ресурсов, но и улучшает производительность.

#Инструкция по использованию

Общий процесс создания подсетей в Underlay-сети Kube-OVN: Добавить мостовую сеть > Добавить VLAN > Создать подсеть.

#Добавление мостовой сети через веб-консоль (опционально)

# test-provider-network.yaml
kind: ProviderNetwork
apiVersion: kubeovn.io/v1
metadata:
  name: test-provider-network
spec:
  defaultInterface: eth1
  customInterfaces:
    - interface: eth2
      nodes:
        - node1
  excludeNodes:
    - node2

Мостовая сеть — это мост, после привязки сетевой карты к мосту она может передавать трафик контейнерной сети, обеспечивая связь с физической сетью.

Процедура:

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > Bridge Network.

3. Нажмите Add Bridge Network.

4. Настройте параметры согласно следующим инструкциям.

   Примечание:

   • Target Pod — все Pods, запланированные на текущем узле, или Pods в пространствах имён, привязанных к определённым подсетям, запланированным на текущем узле. Это зависит от области действия подсети под мостовой сетью.

   • Узлы в Underlay подсети должны иметь несколько сетевых карт, и сетевая карта, используемая мостовой сетью, должна быть выделена исключительно для Underlay и не должна нести другой трафик, например SSH. Например, если в мостовой сети три узла, планирующие eth0, eth0, eth1 для эксклюзивного использования Underlay, то сетевая карта по умолчанию может быть eth0, а для третьего узла — eth1.

   Параметр	Описание
   Default Network Card Name	По умолчанию целевой Pod будет использовать эту сетевую карту моста для связи с физической сетью.
   Configure Network Card by Node	Целевые Pods на указанных узлах будут подключаться к указанной сетевой карте вместо сетевой карты по умолчанию.
   Exclude Nodes	Исключённые узлы не будут иметь мостового подключения для Pods. Примечание: Pods на исключённых узлах не смогут взаимодействовать с физической сетью или контейнерными сетями других узлов, поэтому следует избегать планирования соответствующих Pods на эти узлы.

5. Нажмите Add.

#Добавление мостовой сети через CLI

kubectl apply -f test-provider-network.yaml

#Добавление VLAN через веб-консоль (опционально)

# test-vlan.yaml
kind: Vlan
apiVersion: kubeovn.io/v1
metadata:
  name: test-vlan
spec:
  id: 0
  provider: test-provider-network

Платформа имеет преднастроенную виртуальную LAN ovn-vlan, которая подключается к мостовой сети provider. Вы также можете настроить новую VLAN для подключения к другим мостовым сетям, обеспечивая изоляцию между VLAN.

Процедура:

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > VLAN.

3. Нажмите Add VLAN.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN ID	Уникальный идентификатор VLAN, используемый для различения виртуальных LAN.
   Bridge Network	VLAN будет подключена к этой мостовой сети для связи с физической сетью.

5. Нажмите Add.

#Добавление VLAN через CLI

kubectl apply -f test-vlan.yaml

#Пример custom resource (CR) подсети с Underlay-сетью Kube-OVN

# test-underlay-network.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-underlay-network
spec:
  default: false
  protocol: Dual
  cidrBlock: 11.1.0.0/23
  gateway: 11.1.0.1
  excludeIps:
    - 11.1.0.3
  private: false
  allowSubnets: []
  vlan: test-vlan
  enableEcmp: false

#Создание подсети в Underlay-сети Kube-OVN через веб-консоль

Процедура:

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN	VLAN, к которой принадлежит подсеть.
   Subnet	После назначения подсети проекту или пространству имён IP из физической подсети будут случайным образом выделяться для использования Pods.
   Gateway	Физический шлюз в указанной подсети.
   Reserved IP	Указанные зарезервированные IP не будут автоматически назначаться. Например, могут использоваться как фиксированные IP вычислительных компонентов.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Action > Assign Project / Namespace.

7. Завершите настройку и нажмите Assign.

#Создание подсети в Underlay-сети Kube-OVN через CLI

kubectl apply -f test-underlay-network.yaml

#Связанные операции

Если в кластере одновременно существуют подсети Underlay и Overlay, при необходимости можно настроить Автоматическую взаимосвязь между подсетями Underlay и Overlay.

#Управление подсетями

#Обновление шлюза через веб-консоль

Включает изменение способа исходящего трафика, узлов шлюза и конфигурации NAT.

1. Перейдите в Platform Management.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Gateway.

5. Обновите параметры; подробности смотрите в Описание параметров.

6. Нажмите OK.

#Обновление шлюза через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {"op": "replace", "path": "/spec/gatewayType", "value": "centralized"},
  {"op": "replace", "path": "/spec/gatewayNode", "value": "192.168.66.210"},
  {"op": "replace", "path": "/spec/natOutgoing", "value": true},
  {"op": "replace", "path": "/spec/enableEcmp", "value": true}
]'

#Обновление зарезервированных IP через веб-консоль

IP шлюза нельзя удалить из зарезервированных IP, остальные зарезервированные IP можно редактировать, удалять или добавлять.

1. Перейдите в Platform Management.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Reserved IP.

5. После внесения изменений нажмите Update.

#Обновление зарезервированных IP через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/excludeIps",
    "value": ["10.1.0.1", "10.1.1.2", "10.1.1.4"]
  }
]'

#Назначение проектов через веб-консоль

Назначение подсетей конкретным проектам помогает командам лучше управлять и изолировать сетевой трафик для разных проектов, обеспечивая достаточные сетевые ресурсы для каждого проекта.

1. Перейдите в Platform Management.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Project.

5. После добавления или удаления проектов нажмите Assign.

#Назначение проектов через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaceSelectors",
    "value": [
      {
        "matchLabels": {
          "cpaas.io/project": "cong"
        }
      }
    ]
  }
]'

#Назначение пространств имён через веб-консоль

Назначение подсетей конкретным пространствам имён позволяет добиться более тонкой сетевой изоляции.

Примечание: Процесс назначения приведёт к перестройке шлюза, и исходящие пакеты будут отброшены! Пожалуйста, убедитесь, что в данный момент нет бизнес-приложений, обращающихся к внешним кластерам.

1. Перейдите в Platform Management.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Namespace.

5. После добавления или удаления пространств имён нажмите Assign.

#Назначение пространств имён через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaces",
    "value": ["cert-manager"]
  }
]'

#Расширение подсетей через веб-консоль

Когда диапазон зарезервированных IP подсети достигает предела использования или близок к исчерпанию, его можно расширить на основе исходного диапазона подсети без влияния на нормальную работу существующих сервисов.

1. Перейдите в Platform Management.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Expand Subnet.

5. Завершите настройку и нажмите Update.

#Расширение подсетей через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/cidrBlock",
    "value": "10.1.0.0/22"
  }
]'

#Управление сетями Calico

Поддерживается назначение проектов и пространств имён; подробности смотрите в разделах назначение проектов и назначение пространств имён.

#Удаление подсети через веб-консоль

1. Перейдите в Platform Management.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите ⋮ > Delete и подтвердите удаление.

#Удаление подсети через CLI

kubectl delete subnet test-overlay-subnet