Установка Alauda AI
Alauda AI теперь предлагает гибкие варианты развертывания. Начиная с версии Alauda AI 1.4, функциональность Knative является опциональной, что позволяет упростить установку, если она не требуется.
Для начала необходимо развернуть Alauda AI Operator. Это основной движок для всех продуктов Alauda AI. По умолчанию он использует режим KServe Standard для inference backend, который особенно рекомендуется для ресурсоёмких генеративных нагрузок. Этот режим обеспечивает простой способ развертывания моделей и предлагает надёжные, настраиваемые возможности развертывания, используя базовые функции Kubernetes.
Если ваш сценарий использования требует функциональности Knative, которая позволяет использовать расширенные возможности, такие как масштабирование до нуля по требованию для оптимизации затрат, вы можете дополнительно установить Knative Operator. Этот оператор не входит в стандартную установку и может быть добавлен в любое время для включения функциональности Knative.
Рекомендуемый вариант развертывания: Для генеративных inference нагрузок рекомендуется использовать подход Standard (ранее известный как RawKubernetes Deployment), так как он обеспечивает максимальный контроль над распределением ресурсов и масштабированием.
Содержание
ЗагрузкаЗагрузка в кластерУстановка Alauda AI OperatorВключение функциональности Knative1. Установка Knative Operator2. Создание экземпляра Knative ServingСоздание экземпляра Alauda AIМиграция на Knative Operator1. Удаление устаревшего Serving экземпляра2. Установка Knative Operator и создание Serving экземпляраЗамена сервиса GitLab после установкиFAQ1. Настройка каталога вывода аудита для aml-skipperЗагрузка
Компоненты оператора:
-
Alauda AI Operator
Alauda AI Operator — основной движок, обеспечивающий работу продуктов Alauda AI. Он сосредоточен на двух ключевых функциях: управлении моделями и inference-сервисах, предоставляя гибкую платформу, которую легко расширять.
Пакет для загрузки: aml-operator.xxx.tgz
-
Knative Operator
Knative Operator обеспечивает serverless inference моделей.
Пакет для загрузки: knative-operator.ALL.v1.x.x-yymmdd.tgz
Вы можете скачать приложения с названиями 'Alauda AI' и 'Knative Operator' из Marketplace на сайте Customer Portal.
Загрузка в кластер
Необходимо загрузить оба пакета — Alauda AI и Knative Operator — в кластер, где будет использоваться Alauda AI.
Загрузка инструмента violet
Сначала нужно скачать инструмент violet, если он отсутствует на машине.
Войдите в Web Console и переключитесь на вид Administrator:
- Нажмите Marketplace / Upload Packages.
- Нажмите Download Packaging and Listing Tool.
- Выберите подходящую ОС / архитектуру CPU в разделе Execution Environment.
- Нажмите Download для загрузки инструмента
violet. - Выполните
chmod +x ${PATH_TO_THE_VIOLET_TOOL}, чтобы сделать инструмент исполняемым.
Загрузка пакетов
Сохраните следующий скрипт в файл uploading-ai-cluster-packages.sh, затем ознакомьтесь с комментариями ниже для настройки переменных окружения в этом скрипте.
${PLATFORM_ADDRESS}— адрес вашей платформы ACP.${PLATFORM_ADMIN_USER}— имя пользователя администратора платформы ACP.${PLATFORM_ADMIN_PASSWORD}— пароль администратора платформы ACP.${CLUSTER}— имя кластера, в который устанавливаются компоненты Alauda AI.${AI_CLUSTER_OPERATOR_NAME}— путь к tarball пакету оператора Alauda AI Cluster.${KNATIVE_OPERATOR_PKG_NAME}— путь к tarball пакету оператора Knative.${REGISTRY_ADDRESS}— адрес внешнего реестра.${REGISTRY_USERNAME}— имя пользователя внешнего реестра.${REGISTRY_PASSWORD}— пароль внешнего реестра.
После настройки выполните скрипт командой bash ./uploading-ai-cluster-packages.sh для загрузки пакетов Alauda AI и Knative Operator.
Установка Alauda AI Operator
Процедура
В виде Administrator:
-
Нажмите Marketplace / OperatorHub.
-
В верхней части консоли выберите из выпадающего списка Cluster целевой кластер для установки Alauda AI.
-
Выберите Alauda AI, затем нажмите Install.
Откроется окно Install Alauda AI.
-
В окне Install Alauda AI:
-
Оставьте Channel без изменений.
-
Проверьте, что Version соответствует версии Alauda AI, которую вы хотите установить.
-
Оставьте Installation Location без изменений, по умолчанию это
aml-operator. -
Выберите Manual для Upgrade Strategy.
-
Нажмите Install.
Проверка
Убедитесь, что плитка Alauda AI отображает одно из следующих состояний:
Installing: установка в процессе; дождитесь изменения наInstalled.Installed: установка завершена.
Включение функциональности Knative
Функциональность Knative является опциональной и требует развертывания дополнительного оператора и экземпляра.
Если вы планируете использовать функциональность Knative, вы ДОЛЖНЫ установить Knative Operator и создать экземпляр Knative Serving ПЕРЕД созданием экземпляра Alauda AI, чтобы необходимые CRD были доступны в кластере.
1. Установка Knative Operator
Начиная с версии Knative Operator, сетевой слой Knative переключается на Kourier, поэтому установка Istio больше не требуется.
Процедура
В виде Administrator:
-
Нажмите Marketplace / OperatorHub.
-
В верхней части консоли выберите из выпадающего списка Cluster целевой кластер для установки.
-
Найдите и выберите Knative Operator, затем нажмите Install.
Откроется окно Install Knative Operator.
-
В окне Install Knative Operator:
-
Оставьте Channel без изменений.
-
Проверьте, что Version соответствует версии Knative Operator, которую вы хотите установить.
-
Оставьте Installation Location без изменений.
-
Выберите Manual для Upgrade Strategy.
-
Нажмите Install.
Проверка
Убедитесь, что плитка Knative Operator отображает одно из следующих состояний:
Installing: установка в процессе; дождитесь изменения наInstalled.Installed: установка завершена.
2. Создание экземпляра Knative Serving
После установки Knative Operator необходимо вручную создать экземпляр KnativeServing.
Процедура
-
Создайте namespace
knative-serving. -
В виде Administrator перейдите в Operators -> Installed Operators.
-
Выберите Knative Operator.
-
В разделе Provided APIs найдите KnativeServing и нажмите Create Instance.
-
Переключитесь в YAML view.
-
Замените содержимое следующим YAML:
-
Нажмите Create.
-
Для ACP 4.0 оставьте версию "1.18.1". Для ACP 4.1 и выше измените версию на "1.19.6".
-
private-registry— это заполнитель для адреса вашего приватного реестра. Его можно найти в виде Administrator, затем перейдите в Clusters, выберите ваш кластер и проверьте значение Private Registry в разделе Basic Info.
Создание экземпляра Alauda AI
После установки оператора Alauda AI (и при необходимости Knative Operator) можно создать экземпляр Alauda AI.
Процедура
В виде Administrator:
-
Нажмите Marketplace / OperatorHub.
-
В верхней части консоли выберите из выпадающего списка Cluster целевой кластер для установки оператора Alauda AI.
-
Выберите Alauda AI, затем нажмите.
-
На странице Alauda AI перейдите на вкладку All Instances.
-
Нажмите Create.
Откроется окно Select Instance Type.
-
Найдите плитку AmlCluster в окне Select Instance Type, затем нажмите Create.
Откроется форма Create AmlCluster.
-
Оставьте
defaultбез изменений в поле Name. -
Выберите Deploy Flavor из выпадающего списка:
single-nodeдля развертываний без HA.ha-clusterдля HA кластеров (Рекомендуется для продакшена).
-
Установите KServe Mode в значение Managed.
-
Введите действительный домен в поле Domain.
INFOЭтот домен используется ingress gateway для экспонирования сервисов model serving. Скорее всего, вы захотите использовать wildcard-имя, например *.example.com.
Вы можете указать следующие типы сертификатов, обновив поле Domain Certificate Type:
ProvidedSelfSignedACPDefaultIngress
По умолчанию используется тип сертификата
SelfSignedдля защиты ingress-трафика в вашем кластере, сертификат хранится в секретеknative-serving-cert, указанном в поле Domain Certificate Secret. -
(Опционально) Если вы хотите включить функциональность Knative, в разделе Serverless Configuration установите Knative Serving Provider в значение Operator.
INFOЕсли вы установили Knative Operator для включения serverless функциональности на предыдущих шагах, укажите следующие параметры для интеграции:
- APIVersion:
operator.knative.dev/v1beta1 - Kind:
KnativeServing - Name:
knative-serving - Namespace:
knative-serving
Если вы не используете функциональность Knative, оставьте Knative Serving Provider как
Removed(или пустым), а остальные параметры пустыми. - APIVersion:
-
В разделе Gitlab:
- Введите URL self-hosted Gitlab в поле Base URL.
- Введите
cpaas-systemв поле Admin Token Secret Namespace. - Введите
aml-gitlab-admin-tokenв поле Admin Token Secret Name.
-
Проверьте настройки и нажмите Create.
Проверка
Проверьте поле статуса ресурса AmlCluster с именем default:
Должен вернуть Ready:
Теперь основные возможности Alauda AI успешно развернуты. Если вы хотите быстро ознакомиться с продуктом, обратитесь к разделу Quick Start.
Миграция на Knative Operator
В серии продуктов 1.x serverless функциональность для inference-сервисов обеспечивалась оператором Alauda AI Model Serving. В серии 2.x эта функциональность предоставляется Knative Operator. В этом разделе описывается процесс миграции serverless функциональности с устаревшего оператора на новый.
1. Удаление устаревшего Serving экземпляра
Процедура
В виде Administrator:
- Нажмите Marketplace / OperatorHub.
- В верхней части консоли выберите из выпадающего списка Cluster целевой кластер, где установлен Alauda AI.
- Выберите Alauda AI, затем перейдите на вкладку All Instances.
- Найдите экземпляр
defaultи нажмите Update. - В форме обновления найдите раздел Serverless Configuration.
- Установите BuiltIn Knative Serving в значение
Removed. - Нажмите Update для применения изменений.
2. Установка Knative Operator и создание Serving экземпляра
Установите Knative Operator из Marketplace и создайте экземпляр KnativeServing. Подробные инструкции см. в разделе Включение функциональности Knative.
После выполнения вышеуказанных шагов миграция управляющей плоскости Knative serving завершена.
- Если вы мигрируете с комбинации Alauda AI 2.0 + Alauda AI Model Serving, миграция полностью завершена. Бизнес-сервисы автоматически переключат свою конфигурацию в ближайшее время.
- Если вы мигрируете с комбинации Alauda AI 1.x + Alauda AI Model Serving, убедитесь, что Alauda AI одновременно обновлена до версии 2.x.
Замена сервиса GitLab после установки
Если вы хотите заменить сервис GitLab после установки, выполните следующие шаги:
-
Переконфигурируйте сервис GitLab
Обратитесь к разделу Pre-installation Configuration и повторите его шаги. -
Обновите экземпляр Alauda AI
- В виде Administrator перейдите в Marketplace > OperatorHub
- В выпадающем списке Cluster выберите целевой кластер
- Выберите Alauda AI и перейдите на вкладку All Instances
- Найдите экземпляр 'default' и нажмите Update
-
Измените конфигурацию GitLab
В форме Update default:- Найдите раздел GitLab
- Введите:
- Base URL: URL вашего нового GitLab
- Admin Token Secret Namespace:
cpaas-system - Admin Token Secret Name:
aml-gitlab-admin-token
-
Перезапустите компоненты
Перезапустите деплойментaml-controllerв namespacekubeflow. -
Обновите данные платформы
В интерфейсе управления Alauda AI повторно управляйте всеми namespace:- В виде Alauda AI перейдите в Admin из Business View
- На странице Namespace Management удалите все существующие управляемые namespace
- Используйте "Managed Namespace" для добавления namespace, требующих интеграции с Alauda AI
INFO
Исходные модели не мигрируют автоматически
Для продолжения работы с этими моделями:- Воссоздайте и повторно загрузите их в новый GitLab ИЛИ
- Вручную перенесите файлы моделей в новый репозиторий
FAQ
1. Настройка каталога вывода аудита для aml-skipper
По умолчанию путь вывода аудита — /cpaas/audit на хосте. Однако на некоторых ОС (например, MicroOS) корневой путь хоста доступен только для чтения, и каталог /cpaas создать нельзя. В этом случае пользователю необходимо изменить путь вывода аудита.
Чтобы изменить путь вывода аудита, обновите ресурс AmlCluster по умолчанию, добавив конфигурацию amlSkipper.auditLogHostPath.path в spec.values. Например:
Конкретный путь должен соответствовать конфигурации сбора логов Alauda Container Platform Log Collector.