Alauda AI
  • Русский

    • Установка KServe

    Содержание

    Предварительные требованияНеобходимые зависимостиПримечания к установкеЗагрузка operatorУстановка OperatorПроверкаСоздание экземпляра KServeПроверкаКонфигурация Envoy GatewayКонфигурация Envoy AI GatewayКонфигурация KServe GatewayКонфигурация GIE (gateway-api-inference-extension)Обновление Alauda Build of KServeПроверка

    Предварительные требования

    Перед установкой Alauda Build of KServe необходимо убедиться, что установлены следующие зависимости:

    Необходимые зависимости

    DependencyTypeDescription
    Alauda build of Envoy Gateway install_envoy_gateway_operatorOperatorПредоставляет базовую функциональность gateway для AI-сервисов
    Alauda Build of Envoy AI GatewayCluster PluginПредоставляет возможности gateway, специфичные для AI
    Alauda Build of LeaderWorkerSetCluster PluginПредоставляет функциональность leader-worker set для AI-нагрузок
    GIE (gateway-api-inference-extension)Built-inПо умолчанию входит в состав Alauda Build of KServe. Если GIE уже установлен в кластере, встроенную установку можно отключить с помощью параметра gie.builtIn при настройке operator.
    INFO

    Alauda build of Envoy Gateway нативно интегрирован в ACP 4.2. Для сред, работающих на более ранних версиях (включая ACP 4.0 и 4.1), обратитесь в Customer Support за информацией о совместимости и установке.

    Примечания к установке

    1. Необходимые зависимости: все требуемые зависимости должны быть установлены до установки Alauda Build of KServe.
    2. Интеграция GIE: GIE включен и активен по умолчанию. Если в вашей среде GIE уже установлен отдельно, задайте gie.builtIn в false в конфигурации operator, чтобы отключить встроенную установку.

    Загрузка operator

    Скачайте установочный файл operator для Alauda Build of KServe (например, kserve-operator.ALL.xxxx.tgz).

    Используйте команду violet, чтобы опубликовать его в репозитории платформы:

    violet push --platform-address=<platform-access-address> --platform-username=<platform-admin> --platform-password=<platform-admin-password> kserve-operator.ALL.xxxx.tgz

    Установка Operator

    В представлении Administrator:

    1. Нажмите Marketplace / OperatorHub.

    2. В верхней части консоли в раскрывающемся списке Cluster выберите целевой кластер, в который нужно установить KServe Operator.

    3. Найдите и выберите Alauda Build of KServe, затем нажмите Install.

      Откроется окно Install Alauda Build of KServe.

    4. Оставьте поле Channel без изменений.

    5. Проверьте, что значение Version соответствует версии Alauda Build of KServe, которую вы хотите установить.

    6. Оставьте Installation Location без изменений; по умолчанию должно быть kserve-operator.

    7. В поле Upgrade Strategy выберите Manual.

    8. Нажмите Install.

    Проверка

    Убедитесь, что на плитке Alauda Build of KServe отображается одно из следующих состояний:

    • Installing: установка выполняется; дождитесь, пока состояние изменится на Installed.
    • Installed: установка завершена.

    Создание экземпляра KServe

    После установки operator создайте пользовательский ресурс KServe, чтобы развернуть экземпляр KServe.

    Переключитесь в режим YAML view и примените следующую конфигурацию, затем скорректируйте поля callout в соответствии с вашей средой:

    apiVersion: components.aml.dev/v1alpha1
kind: KServe
metadata:
  name: default-kserve
spec:
  namespace: kserve
  values:
    global:
      clusterName: <cluster-name>
      deployFlavor: single-node
      platformAddress: <platform-address>
      preset:
        GIE:
          enabled: true
        envoy_ai_gateway:
          port: 1063
          service: ai-gateway-controller
        envoy_gateway:
          create_instance: true
          deploy_type: ControllerNamespace
          instance_name: aieg
          sa_namespace: envoy-gateway-system
          service_account: envoy-gateway
        kserve_gateway:
          enabled: true
          gateway_class: ""
          name: kserve-ingress-gateway
          namespace: kserve
          port: 80
      registry:
        address: <registry-address>
    kserve:
      controller:
        deploymentMode: Knative
        gateway:
          domain: <inference-domain>
      storage:
        caBundleConfigMapName: aml-global-ca-bundle
    1. spec.namespace — пространство имен Kubernetes, в котором развертываются компоненты KServe. Значение по умолчанию: kserve.
    2. global.clusterName — имя кластера, зарегистрированное на платформе. Пример: business-1.
    3. global.deployFlavor — single-node для не-HA, ha-cluster для production HA.
    4. global.platformAddress — адрес management endpoint Alauda Container Platform. Пример: https://192.168.131.112.
    5. preset.GIE — встроенный Gateway API Inference Extension для расширенных AI-возможностей. См. GIE Configuration.
    6. preset.envoy_ai_gateway — gateway, специфичный для AI, для интеллектуальной маршрутизации и enforcement политик. См. Envoy AI Gateway Configuration.
    7. preset.envoy_gateway — базовая gateway-инфраструктура на основе Envoy. См. Envoy Gateway Configuration.
    8. preset.kserve_gateway — ingress gateway для сервисов InferenceService KServe. См. KServe Gateway Configuration.
    9. global.registry.address — endpoint container registry, используемый целевым кластером (global.clusterName) для загрузки инфраструктурных и runtime-образов KServe. Пример: registry.alauda.cn:60070.
    10. kserve.controller.deploymentMode — задайте Knative для serverless-функций, таких как scale-to-zero, или Standard для нативных развертываний Kubernetes
    11. kserve.controller.gateway.domain — домен ingress gateway для публикации endpoints inference service. Используйте wildcard-домен, например *.example.com.
    12. kserve.storage.caBundleConfigMapName — имя ConfigMap, содержащего CA bundle для подключений к storage.

    Проверка

    Проверьте статус ресурса KServe:

    kubectl get kserve default-kserve -n kserve-operator

    Экземпляр готов, когда в статусе отображается DEPLOYED: True.

    Конфигурация Envoy Gateway

    FieldDescriptionDefault
    preset.envoy_gateway.service_accountИмя service account, используемое Envoy Gateway.envoy-gateway
    preset.envoy_gateway.sa_namespaceПространство имен, в котором расположен service account Envoy Gateway.envoy-gateway-system
    preset.envoy_gateway.create_instanceСоздать экземпляр Envoy Gateway для управления inference traffic с bundled extensions.true
    preset.envoy_gateway.instance_nameИмя создаваемого экземпляра Envoy Gateway.aieg

    Конфигурация Envoy AI Gateway

    FieldDescriptionDefault
    preset.envoy_ai_gateway.serviceИмя Kubernetes service для Envoy AI Gateway.ai-gateway-controller
    preset.envoy_ai_gateway.portНомер порта, используемый Envoy AI Gateway.1063

    Конфигурация KServe Gateway

    FieldDescriptionDefault
    preset.kserve_gateway.enabledРазвернуть экземпляр KServe Gateway для трафика InferenceService.true
    preset.kserve_gateway.nameИмя KServe Gateway.kserve-ingress-gateway
    preset.kserve_gateway.namespaceПространство имен, в котором развертывается KServe Gateway.kserve
    preset.kserve_gateway.gateway_classНеобязательное пользовательское имя GatewayClass. Если пусто, будет {namespace}-{name}.""
    preset.kserve_gateway.portНомер порта, используемый KServe Gateway.80

    Конфигурация GIE (gateway-api-inference-extension)

    FieldDescriptionDefault
    preset.GIE.enabledВключить встроенный Gateway API Inference Extension. Установите false, если GIE уже установлен отдельно в кластере.true

    Обновление Alauda Build of KServe

    1. Загрузите новую версию пакета operator Alauda Build of KServe с помощью инструмента violet.
    2. Перейдите на страницу Administrator -> Marketplace -> OperatorHub, найдите Alauda Build of KServe и нажмите Confirm, чтобы применить новую версию.

    Проверка

    После обновления убедитесь, что на плитке Alauda Build of KServe отображается Installed, и проверьте статус экземпляра KServe:

    kubectl get kserve default-kserve -n kserve-operator