#Настройка подсетей

#Правила выделения IP

• Выделение для проекта:

  • Если проект не привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если проект привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из этой конкретной подсети.

• Выделение для пространства имён:

  • Если пространство имён не привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если пространство имён привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из этой конкретной подсети.

#Сеть Calico

Создание подсетей в сети Calico для достижения более тонкой изоляции сети ресурсов внутри кластера.

#Ограничения и особенности

В среде кластера с IPv6 подсети, создаваемые в сети Calico, по умолчанию используют инкапсуляцию VXLAN. Порты, необходимые для инкапсуляции VXLAN, отличаются от портов для инкапсуляции IPIP. Необходимо убедиться, что открыт UDP порт 4789.

#Пример custom resource (CR) подсети с сетью Calico

# test-calico-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-calico
spec:
  cidrBlock: 10.1.1.1/24
  default: false
  ipipMode: Always
  natOutgoing: true
  private: false
  protocol: Dual
  v4blockSize: 30

#Создание подсети в сети Calico через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   CIDR	После назначения подсети проекту или пространству имён, контейнерные группы в этом пространстве будут случайным образом использовать IP-адреса из данного CIDR для связи. Примечание: Соответствие между CIDR и BlockSize смотрите в Reference Content.
   Encapsulation Protocol	Выберите протокол инкапсуляции. IPIP не поддерживается в режиме dual-stack. IPIP: реализует межсегментную связь с помощью протокола IPIP. VXLAN (Alpha): реализует межсегментную связь с помощью протокола VXLAN. No Encapsulation: прямое соединение через маршрутизацию.
   Encapsulation Mode	При выборе протокола инкапсуляции IPIP или VXLAN необходимо указать режим инкапсуляции, по умолчанию Always. Always: всегда включать IPIP / VXLAN туннели. Cross Subnet: включать IPIP / VXLAN туннели только если хосты находятся в разных подсетях; при нахождении в одной подсети — прямое соединение через маршрутизацию.
   Outbound Traffic NAT	Выберите, включать ли NAT для исходящего трафика (Network Address Translation), по умолчанию включено. Используется для установки адресов доступа, видимых из внешней сети при выходе контейнерных групп подсети в интернет. При включённом NAT в качестве адреса доступа используется IP хоста; при отключённом NAT IP контейнерных групп подсети напрямую видны во внешней сети.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Allocate Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в сети Calico через CLI

kubectl apply -f test-calico-subnet.yaml

#Reference Content

Динамическое соответствие между CIDR и blockSize представлено в таблице ниже.

#Сеть Kube-OVN

Создание подсети в Overlay-сети Kube-OVN для более тонкой изоляции сети ресурсов в кластере.

#Пример custom resource (CR) подсети с Overlay-сетью Kube-OVN

# test-overlay-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-overlay-subnet
spec:
  default: false
  protocol: Dual
  cidrBlock: 10.1.0.0/23
  natOutgoing: true
  excludeIps:
    - 10.1.1.2
  gatewayType: distributed
  gatewayNode: ""
  private: false
  enableEcmp: false

#Создание подсети в Overlay-сети Kube-OVN через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   Network Segment	После назначения подсети проекту или пространству имён IP-адреса в этом сегменте будут случайным образом выделяться для использования Pods.
   Reserved IP	Указанные зарезервированные IP не будут автоматически выделяться. Например, могут использоваться как фиксированные IP вычислительных компонентов.
   Gateway Type	Выберите тип шлюза для подсети, управляющего исходящим трафиком. - Distributed: каждый хост кластера может выступать в роли исходящего узла для Pods на текущем хосте, обеспечивая распределённый выход. - Centralized: все Pods кластера используют один или несколько конкретных хостов как исходящие узлы, что облегчает внешний аудит и контроль межсетевого экрана. Настройка нескольких централизованных gateway nodes обеспечивает высокую доступность.
   ECMP (Alpha)	При выборе Centralized шлюза можно использовать функцию ECMP. По умолчанию шлюз работает в режиме master-slave, и только мастер-шлюз обрабатывает трафик. При включении ECMP (Equal-Cost Multipath Routing) исходящий трафик маршрутизируется по нескольким равнозначным путям ко всем доступным узлам шлюза, что увеличивает общую пропускную способность шлюза. Примечание: необходимо предварительно включить соответствующие функции.
   Gateway Nodes	При использовании Centralized шлюза выберите один или несколько конкретных хостов в качестве узлов шлюза.
   Outbound Traffic NAT	Выберите, включать ли NAT для исходящего трафика (Network Address Translation). По умолчанию включено. Используется для установки адреса доступа, видимого из внешней сети при выходе Pods подсети в интернет. При включённом NAT в качестве адреса доступа используется IP хоста; при отключённом NAT IP Pods подсети напрямую видны во внешней сети. В этом случае рекомендуется использовать централизованный шлюз.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в Overlay-сети Kube-OVN через CLI

kubectl apply -f test-overlay-subnet.yaml

#Underlay-сеть

Создание подсетей в Underlay-сети Kube-OVN не только обеспечивает более тонкую изоляцию сети ресурсов, но и улучшает производительность.

#Инструкция по использованию

Общий процесс создания подсетей в Underlay-сети Kube-OVN: Добавить Bridge Network > Добавить VLAN > Создать подсеть.

#Добавление Bridge Network через веб-консоль (опционально)

# test-provider-network.yaml
kind: ProviderNetwork
apiVersion: kubeovn.io/v1
metadata:
  name: test-provider-network
spec:
  defaultInterface: eth1
  customInterfaces:
    - interface: eth2
      nodes:
        - node1
  excludeNodes:
    - node2

Bridge Network — это мост, после привязки сетевой карты к мосту он может пересылать трафик контейнерной сети, обеспечивая связь с физической сетью.

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Bridge Network.

3. Нажмите Add Bridge Network.

4. Настройте параметры согласно следующим инструкциям.

   Примечание:

   • Target Pod — все Pods, запланированные на текущем узле, или Pods в пространствах имён, привязанных к конкретным подсетям, запланированным на текущем узле. Это зависит от области действия подсети под мостовой сетью.

   • Узлы в Underlay подсети должны иметь несколько сетевых карт, и сетевая карта, используемая мостовой сетью, должна быть выделена исключительно для Underlay и не должна нести другой трафик, например SSH. Например, если в мостовой сети три узла с планируемым использованием eth0, eth0, eth1 для Underlay, то сетевая карта по умолчанию может быть eth0, а для третьего узла — eth1.

   Параметр	Описание
   Default Network Card Name	По умолчанию целевой Pod будет использовать эту сетевую карту моста для связи с физической сетью.
   Configure Network Card by Node	Целевые Pods на указанных узлах будут подключаться к указанной сетевой карте вместо сетевой карты по умолчанию.
   Exclude Nodes	При исключении узлов все Pods, запланированные на этих узлах, не будут подключаться ни к одной сетевой карте на этих узлах. Примечание: Pods на исключённых узлах не смогут взаимодействовать с физической сетью или контейнерными сетями других узлов, поэтому следует избегать планирования соответствующих Pods на эти узлы.

5. Нажмите Add.

#Добавление Bridge Network через CLI

kubectl apply -f test-provider-network.yaml

#Добавление VLAN через веб-консоль (опционально)

# test-vlan.yaml
kind: Vlan
apiVersion: kubeovn.io/v1
metadata:
  name: test-vlan
spec:
  id: 0
  provider: test-provider-network

Платформа имеет преднастроенную виртуальную LAN ovn-vlan, которая подключается к bridge network provider. Вы также можете настроить новую VLAN для подключения к другим bridge network, обеспечивая изоляцию между VLAN.

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > VLAN.

3. Нажмите Add VLAN.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN ID	Уникальный идентификатор VLAN, используемый для различения виртуальных LAN.
   Bridge Network	VLAN будет подключена к этой bridge network для связи с физической сетью.

5. Нажмите Add.

#Добавление VLAN через CLI

kubectl apply -f test-vlan.yaml

#Пример custom resource (CR) подсети с Underlay-сетью Kube-OVN

# test-underlay-network.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-underlay-network
spec:
  default: false
  protocol: Dual
  cidrBlock: 11.1.0.0/23
  gateway: 11.1.0.1
  excludeIps:
    - 11.1.0.3
  private: false
  allowSubnets: []
  vlan: test-vlan
  enableEcmp: false

#Создание подсети в Underlay-сети Kube-OVN через веб-консоль

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN	VLAN, к которой принадлежит подсеть.
   Subnet	После назначения подсети проекту или пространству имён IP-адреса в физической подсети будут случайным образом выделяться для использования Pods.
   Gateway	Физический шлюз в указанной подсети.
   Reserved IP	Указанные зарезервированные IP не будут автоматически назначаться. Например, могут использоваться как фиксированные IP вычислительных компонентов.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Action > Assign Project / Namespace.

7. Завершите настройку и нажмите Assign.

#Создание подсети в Underlay-сети Kube-OVN через CLI

kubectl apply -f test-underlay-network.yaml

#Связанные операции

Если в кластере существуют как Underlay, так и Overlay подсети, вы можете при необходимости настроить Автоматическую взаимосвязь между Underlay и Overlay подсетями.

#Управление подсетями

#Обновление шлюза через веб-консоль

Включает изменение метода исходящего трафика, узлов шлюза и конфигурации NAT.

1. Перейдите в Administrator.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Gateway.

5. Обновите параметры; подробности смотрите в Описание параметров.

6. Нажмите OK.

#Обновление шлюза через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {"op": "replace", "path": "/spec/gatewayType", "value": "centralized"},
  {"op": "replace", "path": "/spec/gatewayNode", "value": "192.168.66.210"},
  {"op": "replace", "path": "/spec/natOutgoing", "value": true},
  {"op": "replace", "path": "/spec/enableEcmp", "value": true}
]'

#Обновление зарезервированных IP через веб-консоль

IP шлюза нельзя удалить из зарезервированных IP, остальные зарезервированные IP можно редактировать, удалять или добавлять.

1. Перейдите в Administrator.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Reserved IP.

5. После завершения обновления нажмите Update.

#Обновление зарезервированных IP через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/excludeIps",
    "value": ["10.1.0.1", "10.1.1.2", "10.1.1.4"]
  }
]'

#Назначение проектов через веб-консоль

Назначение подсетей конкретным проектам помогает командам лучше управлять и изолировать сетевой трафик для разных проектов, обеспечивая каждому проекту достаточные сетевые ресурсы.

1. Перейдите в Administrator.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Project.

5. После добавления или удаления проектов нажмите Assign.

#Назначение проектов через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaceSelectors",
    "value": [
      {
        "matchLabels": {
          "cpaas.io/project": "cong"
        }
      }
    ]
  }
]'

#Назначение пространств имён через веб-консоль

Назначение подсетей конкретным пространствам имён позволяет добиться более тонкой изоляции сети.

Примечание: процесс назначения приведёт к перестройке шлюза, и исходящие пакеты будут отброшены! Пожалуйста, убедитесь, что в данный момент нет бизнес-приложений, обращающихся к внешним кластерам.

1. Перейдите в Administrator.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Namespace.

5. После добавления или удаления пространств имён нажмите Assign.

#Назначение пространств имён через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaces",
    "value": ["cert-manager"]
  }
]'

#Расширение подсетей через веб-консоль

Когда диапазон зарезервированных IP подсети достигает предела использования или близок к исчерпанию, его можно расширить на основе исходного диапазона подсети без влияния на нормальную работу существующих сервисов.

1. Перейдите в Administrator.

2. В левой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Expand Subnet.

5. Завершите настройку и нажмите Update.

#Расширение подсетей через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/cidrBlock",
    "value": "10.1.0.0/22"
  }
]'

#Управление сетями Calico

Поддерживается назначение проектов и пространств имён; подробности смотрите в разделах назначение проектов и назначение пространств имён.

#Удаление подсети через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите ⋮ > Delete и подтвердите удаление.

#Удаление подсети через CLI

kubectl delete subnet test-overlay-subnet