#Настройка подсетей

#Правила выделения IP

• Выделение для проекта:

  • Если проект не привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если проект привязан к подсети, Pods во всех пространствах имён этого проекта могут использовать IP-адреса только из этой конкретной подсети.

• Выделение для пространства имён:

  • Если пространство имён не привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из подсети по умолчанию. Если в подсети по умолчанию недостаточно IP-адресов, Pods не смогут запуститься.
  • Если пространство имён привязано к подсети, Pods в этом пространстве имён могут использовать IP-адреса только из этой конкретной подсети.

#Сеть Calico

Создание подсетей в сети Calico для достижения более тонкой изоляции ресурсов внутри кластера.

#Ограничения и особенности

В среде кластера с IPv6 подсети, создаваемые в сети Calico, по умолчанию используют инкапсуляцию VXLAN. Порты, необходимые для инкапсуляции VXLAN, отличаются от портов для инкапсуляции IPIP. Необходимо убедиться, что открыт UDP порт 4789.

#Пример custom resource (CR) подсети с сетью Calico

# test-calico-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-calico
spec:
  cidrBlock: 10.1.1.1/24
  default: false
  ipipMode: Always
  natOutgoing: true
  private: false
  protocol: Dual
  v4blockSize: 30

#Создание подсети в сети Calico через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   CIDR	После назначения подсети проекту или пространству имён, контейнерные группы в этом пространстве будут случайным образом использовать IP-адреса из данного CIDR для связи. Примечание: Соответствие между CIDR и BlockSize смотрите в Reference Content.
   Encapsulation Protocol	Выберите протокол инкапсуляции. IPIP не поддерживается в режиме dual-stack. IPIP: реализует межсегментную связь с помощью протокола IPIP. VXLAN (Alpha): реализует межсегментную связь с помощью протокола VXLAN. No Encapsulation: прямое соединение через маршрутизацию.
   Encapsulation Mode	При выборе протокола инкапсуляции IPIP или VXLAN необходимо указать режим инкапсуляции, по умолчанию — Always. Always: всегда включать IPIP / VXLAN туннели. Cross Subnet: включать IPIP / VXLAN туннели только при нахождении хостов в разных подсетях; при нахождении в одной подсети — прямое соединение через маршрутизацию.
   Outbound Traffic NAT	Выберите, включать ли NAT исходящего трафика (Network Address Translation), по умолчанию включён. Используется для задания адресов доступа, которые будут видны внешней сети при выходе контейнерных групп подсети во внешний мир. Если NAT включён, в качестве адреса доступа используется IP хоста; если выключен — IP контейнерных групп подсети напрямую видны во внешней сети.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Allocate Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в сети Calico через CLI

kubectl apply -f test-calico-subnet.yaml

#Reference Content

Динамическое соответствие между CIDR и blockSize приведено в таблице ниже.

#Сеть Kube-OVN

Создание подсети в Overlay-сети Kube-OVN для более тонкой изоляции ресурсов в кластере.

#Пример custom resource (CR) подсети с Overlay-сетью Kube-OVN

# test-overlay-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-overlay-subnet
spec:
  default: false
  protocol: Dual
  cidrBlock: 10.1.0.0/23
  natOutgoing: true
  excludeIps:
    - 10.1.1.2
  gatewayType: distributed
  gatewayNode: ''
  private: false
  enableEcmp: false

#Создание подсети в Overlay-сети Kube-OVN через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   Network Segment	После назначения подсети проекту или пространству имён IP-адреса из этого сегмента будут случайным образом выделяться для использования Pods.
   Reserved IP	Указанные зарезервированные IP не будут автоматически выделяться. Например, могут использоваться как фиксированные IP для вычислительных компонентов.
   Gateway Type	Выберите тип шлюза подсети для управления исходящим трафиком. - Distributed: каждый хост кластера может выступать в роли исходящего узла для Pods на текущем хосте, обеспечивая распределённый выход. - Centralized: все Pods кластера используют один или несколько конкретных хостов как исходящие узлы, что облегчает аудит и контроль межсетевого экрана. Настройка нескольких централизованных gateway nodes обеспечивает высокую доступность.
   ECMP (Alpha)	При выборе Centralized gateway можно использовать функцию ECMP. По умолчанию шлюз работает в режиме master-slave, только мастер обрабатывает трафик. При включении ECMP (Equal-Cost Multipath Routing) исходящий трафик маршрутизируется по нескольким равнозначным путям ко всем доступным узлам шлюза, увеличивая общую пропускную способность. Примечание: необходимо заранее включить соответствующие функции.
   Gateway Nodes	При использовании Centralized gateway выберите один или несколько конкретных хостов в качестве узлов шлюза.
   Outbound Traffic NAT	Выберите, включать ли NAT исходящего трафика (Network Address Translation). По умолчанию включён. Используется для задания адреса доступа, видимого во внешней сети при выходе Pods подсети в интернет. Если NAT включён, в качестве адреса доступа используется IP хоста; если выключен — IP Pods подсети напрямую видны во внешней сети. В этом случае рекомендуется использовать централизованный шлюз.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Actions > Allocate Project / Namespace.

7. Завершите настройку и нажмите Allocate.

#Создание подсети в Overlay-сети Kube-OVN через CLI

kubectl apply -f test-overlay-subnet.yaml

#Underlay-сеть

Создание подсетей в Underlay-сети Kube-OVN не только обеспечивает более тонкую изоляцию ресурсов, но и улучшает производительность.

#Инструкция по использованию

Общий процесс создания подсетей в Underlay-сети Kube-OVN: Добавить Bridge Network > Добавить VLAN > Создать подсеть.

#Добавление Bridge Network через веб-консоль (опционально)

# test-provider-network.yaml
kind: ProviderNetwork
apiVersion: kubeovn.io/v1
metadata:
  name: test-provider-network
spec:
  defaultInterface: eth1
  customInterfaces:
    - interface: eth2
      nodes:
        - node1
  excludeNodes:
    - node2

Bridge Network — это мост, после привязки сетевой карты к мосту он может передавать трафик контейнерной сети, обеспечивая связь с физической сетью.

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Bridge Network.

3. Нажмите Add Bridge Network.

4. Настройте параметры согласно следующим инструкциям.

   Примечание:

   • Target Pod — все Pods, запланированные на текущем узле, или Pods в пространствах имён, привязанных к конкретным подсетям, запланированные на текущем узле. Это зависит от области действия подсети под мостовой сетью.

   • Узлы в Underlay-подсети должны иметь несколько сетевых карт, и сетевая карта, используемая мостовой сетью, должна быть выделена исключительно для Underlay и не должна использоваться для другого трафика, например SSH. Например, если в мостовой сети три узла, планирующие eth0, eth0, eth1 для эксклюзивного использования Underlay, то сетевая карта по умолчанию может быть eth0, а для третьего узла — eth1.

   Параметр	Описание
   Default Network Card Name	По умолчанию целевой Pod будет использовать эту сетевую карту моста для связи с физической сетью.
   Configure Network Card by Node	Целевые Pods на указанных узлах будут подключаться к указанной сетевой карте вместо сетевой карты по умолчанию.
   Exclude Nodes	Исключённые узлы не будут иметь мостового подключения для Pods. Примечание: Pods на исключённых узлах не смогут взаимодействовать с физической сетью или контейнерными сетями других узлов, поэтому следует избегать планирования соответствующих Pods на эти узлы.

5. Нажмите Add.

#Добавление Bridge Network через CLI

kubectl apply -f test-provider-network.yaml

#Добавление VLAN через веб-консоль (опционально)

# test-vlan.yaml
kind: Vlan
apiVersion: kubeovn.io/v1
metadata:
  name: test-vlan
spec:
  id: 0
  provider: test-provider-network

Платформа имеет преднастроенную виртуальную LAN ovn-vlan, которая подключается к bridge network provider. Вы также можете создать новую VLAN, подключенную к другим bridge network, обеспечивая изоляцию между VLAN.

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > VLAN.

3. Нажмите Add VLAN.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN ID	Уникальный идентификатор VLAN, используемый для различения виртуальных LAN.
   Bridge Network	VLAN будет подключена к этой bridge network для связи с физической сетью.

5. Нажмите Add.

#Добавление VLAN через CLI

kubectl apply -f test-vlan.yaml

#Пример custom resource (CR) подсети с Underlay-сетью Kube-OVN

# test-underlay-network.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-underlay-network
spec:
  default: false
  protocol: Dual
  cidrBlock: 11.1.0.0/23
  gateway: 11.1.0.1
  excludeIps:
    - 11.1.0.3
  private: false
  allowSubnets: []
  vlan: test-vlan
  enableEcmp: false

#Создание подсети в Underlay-сети Kube-OVN через веб-консоль

Процедура:

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnet.

3. Нажмите Create Subnet.

4. Настройте параметры согласно следующим инструкциям.

   Параметр	Описание
   VLAN	VLAN, к которой принадлежит подсеть.
   Subnet	После назначения подсети проекту или пространству имён IP-адреса из физической подсети будут случайным образом выделяться для Pods.
   Gateway	Физический шлюз в указанной подсети.
   Reserved IP	Указанные зарезервированные IP не будут автоматически выделяться. Например, могут использоваться как фиксированные IP вычислительных компонентов.

5. Нажмите Confirm.

6. На странице с деталями подсети выберите Action > Assign Project / Namespace.

7. Завершите настройку и нажмите Assign.

#Создание подсети в Underlay-сети Kube-OVN через CLI

kubectl apply -f test-underlay-network.yaml

#Связанные операции

Если в кластере существуют подсети как Underlay, так и Overlay, можно при необходимости настроить Автоматическую взаимосвязь между Underlay и Overlay подсетями.

#Управление подсетями

#Обновление шлюза через веб-консоль

Включает изменение метода исходящего трафика, узлов шлюза и конфигурации NAT.

1. Перейдите в Administrator.

2. В левой боковой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Gateway.

5. Обновите параметры; подробности смотрите в Описание параметров.

6. Нажмите OK.

#Обновление шлюза через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {"op": "replace", "path": "/spec/gatewayType", "value": "centralized"},
  {"op": "replace", "path": "/spec/gatewayNode", "value": "192.168.66.210"},
  {"op": "replace", "path": "/spec/natOutgoing", "value": true},
  {"op": "replace", "path": "/spec/enableEcmp", "value": true}
]'

#Обновление зарезервированных IP через веб-консоль

IP шлюза нельзя удалить из зарезервированных IP, остальные зарезервированные IP можно редактировать, удалять или добавлять.

1. Перейдите в Administrator.

2. В левой боковой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Update Reserved IP.

5. После внесения изменений нажмите Update.

#Обновление зарезервированных IP через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/excludeIps",
    "value": ["10.1.0.1", "10.1.1.2", "10.1.1.4"]
  }
]'

#Назначение проектов через веб-консоль

Назначение подсетей конкретным проектам помогает командам лучше управлять и изолировать сетевой трафик для разных проектов, обеспечивая достаточные сетевые ресурсы для каждого проекта.

1. Перейдите в Administrator.

2. В левой боковой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Project.

5. После добавления или удаления проектов нажмите Assign.

#Назначение проектов через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaceSelectors",
    "value": [
      {
        "matchLabels": {
          "cpaas.io/project": "cong"
        }
      }
    ]
  }
]'

#Назначение пространств имён через веб-консоль

Назначение подсетей конкретным пространствам имён позволяет добиться более тонкой сетевой изоляции.

Примечание: Процесс назначения приведёт к перестройке шлюза, и исходящие пакеты будут отброшены! Убедитесь, что в данный момент нет бизнес-приложений, обращающихся к внешним кластерам.

1. Перейдите в Administrator.

2. В левой боковой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Assign Namespace.

5. После добавления или удаления пространств имён нажмите Assign.

#Назначение пространств имён через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaces",
    "value": ["cert-manager"]
  }
]'

#Расширение подсетей через веб-консоль

Когда диапазон зарезервированных IP подсети достигает предела использования или близок к исчерпанию, его можно расширить на основе исходного диапазона подсети без влияния на нормальную работу существующих сервисов.

1. Перейдите в Administrator.

2. В левой боковой панели выберите Network Management > Subnets.

3. Нажмите на имя подсети.

4. Выберите Action > Expand Subnet.

5. Завершите настройку и нажмите Update.

#Расширение подсетей через CLI

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/cidrBlock",
    "value": "10.1.0.0/22"
  }
]'

#Управление сетями Calico

Поддерживается назначение проектов и пространств имён; подробности смотрите в разделах назначение проектов и назначение пространств имён.

#Удаление подсети через веб-консоль

1. Перейдите в Administrator.

2. В левой навигационной панели выберите Network Management > Subnets.

3. Нажмите ⋮ > Delete и подтвердите удаление.

#Удаление подсети через CLI

kubectl delete subnet test-overlay-subnet