Alauda Container Platform
简体中文

配置子网

目录

IP 分配规则

NOTE

如果一个项目或命名空间被分配了多个子网，IP 地址将从其中一个子网中随机选择。

  • 项目分配：

    • 如果项目未绑定子网，则该项目下所有命名空间中的 Pod 只能使用默认子网的 IP 地址。如果默认子网的 IP 地址不足，Pod 将无法启动。
    • 如果项目绑定了子网，则该项目下所有命名空间中的 Pod 只能使用该特定子网的 IP 地址。

  • 命名空间分配：

    • 如果命名空间未绑定子网，则该命名空间中的 Pod 只能使用默认子网的 IP 地址。如果默认子网的 IP 地址不足，Pod 将无法启动。
    • 如果命名空间绑定了子网，则该命名空间中的 Pod 只能使用该特定子网的 IP 地址。

Calico 网络

在 Calico 网络中创建子网，实现集群内资源更细粒度的网络隔离。

约束与限制

在 IPv6 集群环境中，Calico 网络内创建的子网默认使用 VXLAN 封装。VXLAN 封装所需端口与 IPIP 封装不同，需要确保 UDP 端口 4789 已开放。

Calico 网络子网示例自定义资源（CR）

# test-calico-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-calico
spec:
  cidrBlock: 10.1.1.1/24
  default: false
  ipipMode: Always
  natOutgoing: true
  private: false
  protocol: Dual
  v4blockSize: 30
  1. 当 default 为 true 时，使用 VXLAN 封装。
  2. 参见封装模式参数和封装协议参数。
  3. 参见出站流量 NAT 参数。

通过 Web 控制台创建 Calico 网络子网

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > Subnets。

  3. 点击 Create Subnet。

  4. 按照以下说明配置相关参数。

    参数说明
    CIDR将子网分配给项目或命名空间后，该命名空间内的容器组将随机使用该 CIDR 范围内的 IP 进行通信。
    注意：CIDR 与 BlockSize 的对应关系请参考参考内容。
    Encapsulation Protocol选择封装协议。双栈模式下不支持 IPIP。
    • IPIP：使用 IPIP 协议实现跨段通信。
    • VXLAN (Alpha)：使用 VXLAN 协议实现跨段通信。
    • No Encapsulation：通过路由转发直接连接。
    Encapsulation Mode当封装协议为 IPIP 或 VXLAN 时，必须设置封装模式，默认为 Always。
    • Always：始终启用 IPIP / VXLAN 隧道。
    • Cross Subnet：仅当主机处于不同子网时启用 IPIP / VXLAN 隧道；同子网时通过路由转发直接连接。
    Outbound Traffic NAT选择是否启用出站流量 NAT（网络地址转换），默认启用。
    主要用于设置子网容器组访问外网时暴露的访问地址。
    启用出站流量 NAT 时，当前子网容器组的访问地址为宿主机 IP；未启用时，子网内容器组的 IP 将直接暴露给外网。

  5. 点击 Confirm。

  6. 在子网详情页，选择 Actions > Allocate Project / Allocate Namespace。

  7. 完成配置后点击 Allocate。

通过 CLI 创建 Calico 网络子网

kubectl apply -f test-calico-subnet.yaml

参考内容

CIDR 与 blockSize 的动态匹配关系如下表所示。

CIDRblockSize 大小主机数量单个 IP 池大小
prefix<=16261024+64
16<prefix<=1927256~102432
prefix=202825616
prefix=21292568
prefix=22302564
prefix=23301284
prefix=2430644
prefix=2530324
prefix=2631322
prefix=2731162
prefix=283182
prefix=293142
prefix=303122
prefix=313112
NOTE

不支持前缀大于 31 的子网配置。

Kube-OVN 网络

在 Kube-OVN Overlay 网络中创建子网，实现集群内资源更细粒度的网络隔离。

NOTE

平台内置了用于节点与 Pod 通信的 join 子网，请避免 join 与新建子网之间的网段冲突。

Kube-OVN Overlay 网络子网示例自定义资源（CR）

# test-overlay-subnet.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-overlay-subnet
spec:
  default: false
  protocol: Dual
  cidrBlock: 10.1.0.0/23
  natOutgoing: true
  excludeIps:
    - 10.1.1.2
  gatewayType: distributed
  gatewayNode: ""
  private: false
  enableEcmp: false
  1. 参见出站流量 NAT 参数。
  2. 参见保留 IP 参数。
  3. 参见网关类型参数。可选值为 distributed 或 centralized。
  4. 参见网关节点参数。
  5. 参见 ECMP 参数。需联系管理员开启功能门控。

通过 Web 控制台创建 Kube-OVN Overlay 网络子网

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > Subnet。

  3. 点击 Create Subnet。

  4. 按照以下说明配置相关参数。

    参数说明
    网络段将子网分配给项目或命名空间后，该段内的 IP 将随机分配给 Pod 使用。
    保留 IP设置的保留 IP 不会被自动分配。例如，可用作计算组件的 固定 IP。
    网关类型选择子网的网关类型以控制出站流量。
    - Distributed：集群中每个宿主机都可作为当前宿主机上 Pod 的出站节点，实现分布式出口。
    - Centralized：集群中所有 Pod 使用一个或多个特定宿主机作为出站节点，便于外部审计和防火墙控制。设置多个集中式 网关节点 可实现高可用。
    ECMP (Alpha)选择 Centralized 网关时，可使用 ECMP 功能。默认网关为主备模式，仅主网关处理流量。启用 ECMP（等价多路径路由）后，出站流量将通过多个等价路径路由至所有可用网关节点，从而提升网关总吞吐量。

    注意：请提前开启 ECMP 相关功能。
    网关节点使用 Centralized 网关时，选择一个或多个特定宿主机作为网关节点。
    出站流量 NAT选择是否启用出站流量 NAT（网络地址转换），默认启用。
    主要用于设置子网内 Pod 访问外网时暴露的访问地址。
    启用出站流量 NAT 时，当前子网 Pod 的访问地址为宿主机 IP；未启用时，子网内 Pod 的 IP 将直接暴露给外网。此时建议使用集中式网关。

  5. 点击 Confirm。

  6. 在子网详情页，选择 Actions > Allocate Project / Namespace。

  7. 完成配置后点击 Allocate。

通过 CLI 创建 Kube-OVN Overlay 网络子网

kubectl apply -f test-overlay-subnet.yaml

Underlay 网络

在 Kube-OVN Underlay 网络中创建子网，不仅实现资源更细粒度的网络隔离，还能提供更好的性能体验。

INFO

Kube-OVN Underlay 中的容器网络需要物理网络支持。请参考最佳实践 准备 Kube-OVN Underlay 物理网络 以确保网络连通性。

使用说明

在 Kube-OVN Underlay 网络中创建子网的一般流程为：添加桥接网络 > 添加 VLAN > 创建子网。

  1. 默认网卡名称。
  2. 按节点配置网卡。

通过 Web 控制台添加桥接网络（可选）

# test-provider-network.yaml
kind: ProviderNetwork
apiVersion: kubeovn.io/v1
metadata:
  name: test-provider-network
spec:
  defaultInterface: eth1
  customInterfaces:
    - interface: eth2
      nodes:
        - node1
  excludeNodes:
    - node2
  1. 默认网卡名称。
  2. 按节点配置网卡。

桥接网络指桥接设备，绑定网卡后可转发容器网络流量，实现与物理网络的互通。

操作步骤：

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > Bridge Network。

  3. 点击 Add Bridge Network。

  4. 根据以下说明配置相关参数。

    注意：

    • 目标 Pod 指当前节点上调度的所有 Pod，或绑定特定子网的命名空间中调度到当前节点的 Pod，具体取决于桥接网络下子网的作用范围。

    • Underlay 子网中的节点必须有多块网卡，桥接网络使用的网卡必须专属分配给 Underlay，不能承载其他流量（如 SSH）。例如，若桥接网络有三个节点计划分别为 eth0、eth0、eth1 专属给 Underlay，则默认网卡可设置为 eth0，第三个节点的网卡为 eth1。

    参数说明
    默认网卡名称目标 Pod 默认使用该网卡作为桥接网卡，实现与物理网络的互通。
    按节点配置网卡配置节点上的目标 Pod 将桥接到指定网卡，而非默认网卡。
    排除节点被排除的节点上调度的所有 Pod 不会桥接到该节点的任何网卡。

    注意：排除节点上的 Pod 无法与物理网络或跨节点容器网络通信，需避免调度相关 Pod 到这些节点。

  5. 点击 Add。

通过 CLI 添加桥接网络

kubectl apply -f test-provider-network.yaml

通过 Web 控制台添加 VLAN（可选）

# test-vlan.yaml
kind: Vlan
apiVersion: kubeovn.io/v1
metadata:
  name: test-vlan
spec:
  id: 0
  provider: test-provider-network
  1. VLAN ID。
  2. 桥接网络引用。

平台预配置了 ovn-vlan 虚拟局域网，连接到 provider 桥接网络。也可配置新的 VLAN 连接其他桥接网络，实现 VLAN 之间的网络隔离。

操作步骤：

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > VLAN。

  3. 点击 Add VLAN。

  4. 根据以下说明配置相关参数。

    参数说明
    VLAN IDVLAN 的唯一标识，用于区分不同虚拟局域网。
    桥接网络VLAN 连接的桥接网络，实现与物理网络的互通。

  5. 点击 Add。

通过 CLI 添加 VLAN

kubectl apply -f test-vlan.yaml

Kube-OVN Underlay 网络子网示例自定义资源（CR）

# test-underlay-network.yaml
apiVersion: kubeovn.io/v1
kind: Subnet
metadata:
  name: test-underlay-network
spec:
  default: false
  protocol: Dual
  cidrBlock: 11.1.0.0/23
  gateway: 11.1.0.1
  excludeIps:
    - 11.1.0.3
  private: false
  allowSubnets: []
  vlan: test-vlan
  enableEcmp: false
  1. VLAN 引用。

通过 Web 控制台创建 Kube-OVN Underlay 网络子网

NOTE

平台还预配置了用于 Overlay 传输模式下节点与 Pod 通信的 join 子网，该子网不会用于 Underlay 传输模式，务必避免 join 与其他子网的 IP 段冲突。

操作步骤：

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > Subnet。

  3. 点击 Create Subnet。

  4. 根据以下说明配置相关参数。

    参数说明
    VLAN子网所属的 VLAN。
    子网将子网分配给项目或命名空间后，物理子网内的 IP 将随机分配给 Pod 使用。
    网关上述子网内的物理网关。
    保留 IP指定的保留 IP 不会被自动分配。例如，可用作计算组件的 固定 IP。

  5. 点击 Confirm。

  6. 在子网详情页，选择 Action > Assign Project / Namespace。

  7. 完成配置后点击 Assign。

通过 CLI 创建 Kube-OVN Underlay 网络子网

kubectl apply -f test-underlay-network.yaml

相关操作

当集群中同时存在 Underlay 和 Overlay 子网时，可根据需要配置Underlay 与 Overlay 子网自动互通。

子网管理

通过 Web 控制台更新网关

包括更改出站流量方式、网关节点和 NAT 配置。

  1. 进入 Administrator。

  2. 在左侧边栏点击 Network Management > Subnets。

  3. 点击子网名称。

  4. 选择 Action > Update Gateway。

  5. 更新参数配置，详情请参考参数说明。

  6. 点击 OK。

通过 CLI 更新网关

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {"op": "replace", "path": "/spec/gatewayType", "value": "centralized"},
  {"op": "replace", "path": "/spec/gatewayNode", "value": "192.168.66.210"},
  {"op": "replace", "path": "/spec/natOutgoing", "value": true},
  {"op": "replace", "path": "/spec/enableEcmp", "value": true}
]'

通过 Web 控制台更新保留 IP

网关 IP 不能从保留 IP 中移除，其他保留 IP 可自由编辑、删除或添加。

  1. 进入 Administrator。

  2. 在左侧边栏点击 Network Management > Subnets。

  3. 点击子网名称。

  4. 选择 Action > Update Reserved IP。

  5. 更新完成后点击 Update。

通过 CLI 更新保留 IP

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/excludeIps",
    "value": ["10.1.0.1", "10.1.1.2", "10.1.1.4"]
  }
]'

通过 Web 控制台分配项目

将子网分配给特定项目，帮助团队更好地管理和隔离不同项目的网络流量，确保每个项目拥有充足的网络资源。

  1. 进入 Administrator。

  2. 在左侧边栏点击 Network Management > Subnets。

  3. 点击子网名称。

  4. 选择 Action > Assign Project。

  5. 添加或移除项目后，点击 Assign。

通过 CLI 分配项目

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaceSelectors",
    "value": [
      {
        "matchLabels": {
          "cpaas.io/project": "cong"
        }
      }
    ]
  }
]'

通过 Web 控制台分配命名空间

将子网分配给特定命名空间，实现更细粒度的网络隔离。

注意：分配过程中会重建网关，出站数据包将被丢弃！请确保当前无业务应用访问外部集群。

  1. 进入 Administrator。

  2. 在左侧边栏点击 Network Management > Subnets。

  3. 点击子网名称。

  4. 选择 Action > Assign Namespace。

  5. 添加或移除命名空间后，点击 Assign。

通过 CLI 分配命名空间

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/namespaces",
    "value": ["cert-manager"]
  }
]'

通过 Web 控制台扩容子网

当子网保留 IP 范围达到使用上限或即将耗尽时，可基于原子网范围进行扩容，不影响现有服务正常运行。

  1. 进入 Administrator。

  2. 在左侧边栏点击 Network Management > Subnets。

  3. 点击子网名称。

  4. 选择 Action > Expand Subnet。

  5. 完成配置后点击 Update。

通过 CLI 扩容子网

kubectl patch subnet test-overlay-subnet --type=json -p='[
  {
    "op": "replace",
    "path": "/spec/cidrBlock",
    "value": "10.1.0.0/22"
  }
]'

管理 Calico 网络

支持项目和命名空间分配，详情请参考项目分配和命名空间分配。

通过 Web 控制台删除子网

NOTE

  • 删除子网时，如果仍有容器组使用该子网内的 IP，容器组可继续运行且 IP 不变，但无法进行网络通信。可重建容器组以使用默认子网 IP，或为容器组所在命名空间分配新的子网使用。

  • 默认子网不可删除。

  1. 进入 Administrator。

  2. 在左侧导航栏点击 Network Management > Subnets。

  3. 点击 ⋮ > Delete，执行删除操作。

通过 CLI 删除子网

kubectl delete subnet test-overlay-subnet

以 PDF 格式查看完整文档