Alauda AI
  • Русский

    • Установка Alauda Build of KServe

    Alauda Build of KServe — это облачный компонент, построенный на основе KServe для обслуживания моделей генеративного ИИ. В качестве расширения экосистемы Alauda AI он специально оптимизирован для Large Language Models (LLMs), предоставляя ключевые функции, такие как оркестрация инференса, потоковые ответы и масштабирование ресурсов на основе нагрузки для генеративных рабочих нагрузок.

    Содержание

    Предварительные требованияОбязательные зависимостиДополнительные зависимостиПримечания по установкеЗагрузка Cluster PluginЗагрузка Cluster PluginУстановка Alauda Build of KServeКонфигурация Envoy GatewayКонфигурация Envoy AI GatewayКонфигурация KServe GatewayКонфигурация GIE (gateway-api-inference-extension)Интеграция Alauda AIОбновление Alauda Build of KServe

    Предварительные требования

    Перед установкой Alauda Build of KServe необходимо убедиться, что установлены следующие зависимости:

    Обязательные зависимости

    DependencyTypeDescription
    Alauda build of Envoy Gateway install_envoy_gateway_operatorOperatorОбеспечивает базовую функциональность шлюза для AI-сервисов
    Envoy AI GatewayCluster PluginОбеспечивает возможности шлюза, специфичные для AI
    Alauda Build of LeaderWorkerSetCluster PluginОбеспечивает функциональность leader-worker set для AI-рабочих нагрузок
    INFO

    Alauda build of Envoy Gateway нативно интегрирован в ACP 4.2. Для сред с более ранними версиями (включая ACP 4.0 и 4.1) обратитесь в службу поддержки клиентов для получения информации о совместимости и рекомендаций по установке.

    Дополнительные зависимости

    DependencyTypeDescription
    GIEBuilt-inВстроенное расширение GIE (gateway-api-inference-extension) для расширенных возможностей AI. Может быть включено через UI Alauda Build of KServe.
    Alauda AIOperatorТребуется только если необходимо использовать функциональность KServe Predictive AI. Можно отключить, если нужна только генеративная AI функциональность LLM.

    Примечания по установке

    1. Обязательные зависимости: Все три обязательные зависимости должны быть установлены до установки Alauda Build of KServe.
    2. Интеграция GIE: Если вы хотите использовать GIE, вы можете включить его во время установки, выбрав опцию "Integrated GIE" в UI Alauda Build of KServe.
    3. Интеграция Alauda AI: Если вам не нужна функциональность KServe Predictive AI и вы хотите использовать только генеративный AI LLM, вы можете отключить опцию "Integrated With Alauda AI" во время установки.

    Загрузка Cluster Plugin

    INFO

    Плагин кластера Alauda Build of KServe можно получить через Customer Portal.

    Для получения дополнительной информации обратитесь в службу поддержки потребителей.

    Загрузка Cluster Plugin

    Для получения дополнительной информации о загрузке плагина кластера обратитесь к Uploading Cluster Plugins

    Установка Alauda Build of KServe

    1. Перейдите на страницу Administrator -> Marketplace -> Cluster Plugin, переключитесь на целевой кластер и разверните плагин кластера Alauda Build of KServe.

    2. В форме развертывания настройте следующие параметры по необходимости:

    Конфигурация Envoy Gateway

    ParameterDescriptionDefault Value
    ServiceAccount NameИмя сервисного аккаунта, используемого Envoy Gateway.envoy-gateway
    ServiceAccount NamespaceПространство имён, в котором расположен сервисный аккаунт.envoy-gateway-system
    Create InstanceСоздать экземпляр Envoy Gateway для управления трафиком инференса с включёнными расширениями.Enabled
    Instance NameИмя создаваемого экземпляра Envoy Gateway.aieg

    Конфигурация Envoy AI Gateway

    ParameterDescriptionDefault Value
    Service NameИмя Kubernetes-сервиса для Envoy AI Gateway.ai-gateway-controller
    Port NumberНомер порта, используемый Envoy AI Gateway.1063

    Конфигурация KServe Gateway

    ParameterDescriptionDefault Value
    EnabledУстановить экземпляр KServe Gateway для функциональности inferenceservices.Enabled
    Gateway NameИмя KServe Gateway.kserve-ingress-gateway
    Gateway NamespaceПространство имён, в котором развернут KServe Gateway.kserve
    GatewayClassНеобязательно. Пользовательское имя для GatewayClass. Если оставить пустым, система автоматически сформирует его по шаблону "{Namespace}-{Name}".(Empty)
    Port NumberНомер порта, используемый KServe Gateway.80

    Конфигурация GIE (gateway-api-inference-extension)

    ParameterDescriptionDefault Value
    BuiltInУстановить с включёнными зависимостями gateway-api-inference-extension v0.5.1 для расширенных возможностей AI.Enabled

    Интеграция Alauda AI

    ParameterDescriptionDefault Value
    IntegratedВключить интеграцию с основным плагином Alauda AI для повторного использования существующих конфигураций.Disabled

    1. Нажмите Install для начала процесса установки.

    2. Проверьте результат. В UI будет отображаться статус "Installed".

    Обновление Alauda Build of KServe

    1. Загрузите новую версию пакета плагина Alauda Build of KServe в ACP.
    2. Перейдите на страницу Administrator -> Clusters -> Target Cluster -> Functional Components, затем нажмите кнопку Upgrade, после чего будет доступно обновление Alauda Build of KServe.