Alauda AI теперь предлагает гибкие варианты развертывания. Начиная с версии Alauda AI 1.4, функция Serverless является опциональной, что позволяет упростить установку, если она не требуется.
Для начала необходимо развернуть Alauda AI Operator. Это основной движок для всех продуктов Alauda AI. По умолчанию он использует режим KServe Raw Deployment для inference-бэкенда, который особенно рекомендуется для ресурсоёмких генеративных нагрузок. Этот режим обеспечивает простой способ развертывания моделей и предлагает надёжные, настраиваемые возможности развертывания, используя базовые функции Kubernetes.
Если в вашем сценарии требуется функциональность Serverless, которая позволяет использовать расширенные возможности, такие как масштабирование до нуля по требованию для оптимизации затрат, вы можете дополнительно установить Alauda AI Model Serving Operator. Этот оператор не входит в стандартную установку и может быть добавлен в любое время для включения функциональности Serverless.
Рекомендуемый вариант развертывания: Для генеративных inference-нагрузок рекомендуется подход Raw Kubernetes Deployment, так как он обеспечивает максимальный контроль над распределением ресурсов и масштабированием.
Компоненты оператора:
Alauda AI Operator
Alauda AI Operator — основной движок, обеспечивающий работу продуктов Alauda AI. Он сосредоточен на двух ключевых функциях: управлении моделями и inference-сервисах, предоставляя гибкую платформу, которую легко расширять.
Пакет для загрузки: aml-operator.xxx.tgz
Alauda AI Model Serving Operator
Alauda AI Model Serving Operator обеспечивает serverless inference моделей.
Пакет для загрузки: kserveless-operator.xxx.tgz
Вы можете скачать приложения с названиями 'Alauda AI' и 'Alauda AI Model Serving' из Marketplace на сайте Customer Portal.
Необходимо загрузить оба пакета — Alauda AI и Alauda AI Model Serving — в кластер, где будет использоваться Alauda AI.
Сначала нужно скачать инструмент violet, если он отсутствует на вашей машине.
Войдите в Web Console и переключитесь в режим Administrator:
violet.chmod +x ${PATH_TO_THE_VIOLET_TOOL}, чтобы сделать инструмент исполняемым.Сохраните следующий скрипт в файл uploading-ai-cluster-packages.sh, затем ознакомьтесь с комментариями ниже для настройки переменных окружения.
${PLATFORM_ADDRESS} — адрес вашей платформы ACP.${PLATFORM_ADMIN_USER} — имя пользователя администратора платформы ACP.${PLATFORM_ADMIN_PASSWORD} — пароль администратора платформы ACP.${CLUSTER} — имя кластера, в который устанавливаются компоненты Alauda AI.${AI_CLUSTER_OPERATOR_NAME} — путь к tarball пакету оператора Alauda AI Cluster.${KSERVELESS_OPERATOR_PKG_NAME} — путь к tarball пакету оператора KServeless.${REGISTRY_ADDRESS} — адрес внешнего реестра.${REGISTRY_USERNAME} — имя пользователя внешнего реестра.${REGISTRY_PASSWORD} — пароль внешнего реестра.После настройки выполните скрипт командой bash ./uploading-ai-cluster-packages.sh для загрузки операторов Alauda AI и Alauda AI Model Serving.
В режиме Administrator:
Нажмите Marketplace / OperatorHub.
В верхней части консоли в выпадающем списке Cluster выберите целевой кластер для установки Alauda AI.
Выберите Alauda AI, затем нажмите Install.
Появится окно Install Alauda AI.
В окне Install Alauda AI:
Оставьте Channel без изменений.
Проверьте, что Version соответствует версии Alauda AI, которую вы хотите установить.
Оставьте Installation Location без изменений, по умолчанию это aml-operator.
Выберите Manual для Upgrade Strategy.
Нажмите Install.
Убедитесь, что плитка Alauda AI отображает одно из следующих состояний:
Installing: установка в процессе; дождитесь изменения на Installed.Installed: установка завершена.После установки Alauda AI Operator вы можете создать экземпляр Alauda AI.
В режиме Administrator:
Нажмите Marketplace / OperatorHub.
В верхней части консоли в выпадающем списке Cluster выберите целевой кластер, куда установлен Alauda AI Operator.
Выберите Alauda AI, затем нажмите.
На странице Alauda AI перейдите на вкладку All Instances.
Нажмите Create.
Появится окно Select Instance Type.
Найдите плитку AmlCluster в окне Select Instance Type и нажмите Create.
Появится форма Create AmlCluster.
Оставьте default без изменений в поле Name.
Выберите Deploy Flavor из выпадающего списка:
single-node для развертываний без HA.ha-cluster для HA-кластеров (Рекомендуется для продакшена).Установите KServe Mode в значение Managed.
Введите действительный домен в поле Domain.
Этот домен используется ingress gateway для экспонирования сервисов model serving. Обычно рекомендуется использовать wildcard-домен, например *.example.com.
Вы можете указать следующие типы сертификатов, обновив поле Domain Certificate Type:
ProvidedSelfSignedACPDefaultIngressПо умолчанию используется сертификат типа SelfSigned для защиты ingress-трафика к вашему кластеру, сертификат хранится в секрете knative-serving-cert, указанном в поле Domain Certificate Secret.
Чтобы использовать собственный сертификат, сохраните секрет сертификата в namespace istio-system, затем обновите значение поля Domain Certificate Secret и измените тип сертификата на Provided.
В разделе Serverless Configuration установите Knative Serving Provider в значение Operator; остальные параметры оставьте пустыми.
В разделе Gitlab:
cpaas-system в поле Admin Token Secret Namespace.aml-gitlab-admin-token в поле Admin Token Secret Name.Проверьте настройки и нажмите Create.
Проверьте статус ресурса AmlCluster с именем default:
Должен вернуть Ready:
Теперь основные возможности Alauda AI успешно развернуты. Если вы хотите быстро ознакомиться с продуктом, обратитесь к разделу Quick Start.
Функциональность Serverless является опциональной и требует установки дополнительного оператора и создания экземпляра.
Функциональность Serverless зависит от Istio Gateway для сетевого взаимодействия. Пожалуйста, сначала установите Service Mesh, следуя документации.
В режиме Administrator:
Нажмите Marketplace / OperatorHub.
В верхней части консоли в выпадающем списке Cluster выберите целевой кластер для установки.
Выберите Alauda AI Model Serving, затем нажмите Install.
Появится окно Install Alauda AI Model Serving.
В окне Install Alauda AI Model Serving:
Оставьте Channel без изменений.
Проверьте, что Version соответствует версии Alauda AI Model Serving, которую вы хотите установить.
Оставьте Installation Location без изменений, по умолчанию это kserveless-operator.
Выберите Manual для Upgrade Strategy.
Нажмите Install.
Убедитесь, что плитка Alauda AI Model Serving отображает одно из следующих состояний:
Installing: установка в процессе; дождитесь изменения на Installed.Installed: установка завершена.После установки Alauda AI Model Serving Operator вы можете создать экземпляр двумя способами:
Экземпляр может быть автоматически создан и управляться AmlCluster путём редактирования его параметров.
В режиме Administrator:
Нажмите Marketplace / OperatorHub.
В верхней части консоли в выпадающем списке Cluster выберите кластер, где ранее был установлен AmlCluster.
Выберите Alauda AI, затем нажмите.
На странице Alauda AI перейдите на вкладку All Instances.
Нажмите на имя default.
В выпадающем списке Actions выберите обновление.
Появится форма update default.
В разделе Serverless Configuration:
Legacy.Managed.Остальные параметры оставьте без изменений. Нажмите Update.
Вы можете вручную создать экземпляр KnativeServing (knativeservings.components.aml.dev).
В режиме Administrator:
Нажмите Marketplace / OperatorHub.
В верхней части консоли в выпадающем списке Cluster выберите целевой кластер для установки.
Выберите Alauda AI Model Serving, затем нажмите.
На странице Alauda AI Model Serving перейдите на вкладку All Instances.
Нажмите Create.
Появится окно Select Instance Type.
Найдите плитку KnativeServing в окне Select Instance Type и нажмите Create.
Появится форма Create KnativeServing.
Оставьте default-knative-serving без изменений в поле Name.
Оставьте knative-serving без изменений в поле Knative Serving Namespace.
В разделе Ingress Gateway настройте следующее:
1-22).Подробнее о настройке домена и типа сертификата смотрите в соответствующем разделе.
В разделе Values настройте следующее:
Выберите Deploy Flavor из выпадающего списка:
single-node для развертываний без HA.ha-cluster для HA-кластеров (Рекомендуется для продакшена).Установите Global Registry Address в соответствии с вашим кластером.
Адрес приватного реестра вашего кластера можно найти следующим образом:
Private Registry address в разделе Basic Info.Настройте экземпляр AmlCluster для интеграции с экземпляром KnativeServing.
В окне обновления экземпляра AmlCluster заполните необходимые параметры в разделе Serverless Configuration.
После первоначальной установки будет установлено только значение Knative Serving Provider в Operator. Теперь необходимо указать значения для следующих параметров:
components.aml.dev/v1alpha1KnativeServingdefault-knative-servingЕсли вы хотите заменить GitLab Service после установки, выполните следующие шаги:
Переконфигурируйте GitLab Service
Обратитесь к разделу Pre-installation Configuration и повторно выполните его шаги.
Обновите экземпляр Alauda AI
Измените конфигурацию GitLab
В форме Update default:
cpaas-systemaml-gitlab-admin-tokenПерезапустите компоненты
Перезапустите deployment aml-controller в namespace kubeflow.
Обновите данные платформы
В режиме управления Alauda AI повторно управляйте всеми namespace.
Исходные модели не будут мигрированы автоматически. Чтобы продолжить использовать эти модели: