Установка Alauda AI

В кластере, где будет использоваться Alauda AI, необходимо развернуть следующие два оператора:

Alauda AI Operator

Alauda AI Operator — это основной механизм, обеспечивающий работу продуктов Alauda AI. Он сосредоточен на двух ключевых функциях: управлении моделями и сервисах инференса, и предоставляет гибкую платформу, которую можно легко расширять.

Alauda AI Model Serving Operator

Alauda AI Model Serving Operator предоставляет бессерверный инференс моделей.

INFO

В процессе развертывания Alauda AI Alauda AI Model Serving Operator будет развернут автоматически, без необходимости ручных действий или изменения конфигурации.

Содержание

Загрузка Загрузка Установка Alauda AI Operator Создание экземпляра Alauda AI Процедура Проверка Замена службы GitLab после установки

Загрузка

INFO

Вы можете скачать 'Alauda AI' и 'Alauda AI Model Serving' из Marketplace на сайте Customer Portal. Выполните следующие шаги:

Скачайте приложение с именем "AI".
Распакуйте скачанный файл, чтобы получить пакеты aml-operator.xxx.tgz и kserveless-operator.xxx.tgz.

Загрузка

Нам необходимо загрузить в кластер, где будет использоваться Alauda AI, как Alauda AI, так и Alauda AI Model Serving.

Скачивание инструмента violet

Сначала необходимо скачать инструмент violet, если он отсутствует на машине.

Войдите в Web Console и переключитесь в представление Administrator:

Нажмите Marketplace / Upload Packages.
Нажмите Download Packaging and Listing Tool.
Найдите подходящую ОС / архитектуру CPU в разделе Execution Environment.
Нажмите Download, чтобы скачать инструмент violet.
Выполните chmod +x ${PATH_TO_THE_VIOLET_TOOL}, чтобы сделать инструмент исполняемым.

Загрузка пакета

Сначала сохраните следующий сценарий в uploading-ai-cluster-packages.sh, а затем ознакомьтесь с комментариями ниже, чтобы обновить переменные окружения для настройки этого сценария.

uploading-ai-cluster-packages.sh

#!/usr/bin/env bash
export PLATFORM_ADDRESS=https://platform-address  
export PLATFORM_ADMIN_USER=<admin>
export PLATFORM_ADMIN_PASSWORD=<admin-password>
export CLUSTER=<cluster-name>

export AI_CLUSTER_OPERATOR_NAME=<path-to-aml-operator-tarball>
export KSERVELESS_OPERATOR_PKG_NAME=<path-to-kserveless-operator-tarball>

VIOLET_EXTRA_ARGS=()
IS_EXTERNAL_REGISTRY=

# If the image registry type of destination cluster is not platform built-in (external private or public repository).
# Additional configuration is required (uncomment following line):
# IS_EXTERNAL_REGISTRY=true
if [[ "${IS_EXTERNAL_REGISTRY}" == "true" ]]; then
    REGISTRY_URL=<external-registry-url>
    REGISTRY_USERNAME=<registry-username>
    REGISTRY_PASSWORD=<registry-password>

    VIOLET_EXTRA_ARGS+=(
        --dst-repo "${REGISTRY_ADDRESS}"
        --username "${REGISTRY_USERNAME}"
        --password "${REGISTRY_PASSWORD}"
    )
fi

# Push **Alauda AI Cluster** operator package to destination cluster
violet push \
    ${AI_CLUSTER_OPERATOR_NAME} \
    --platform-address=${PLATFORM_ADDRESS} \
    --platform-username=${PLATFORM_ADMIN_USER} \
    --platform-password=${PLATFORM_ADMIN_PASSWORD} \
    --clusters=${CLUSTER} \
    ${VIOLET_EXTRA_ARGS[@]}

# Push **KServeless** operator package to destination cluster
violet push \
    ${KSERVELESS_OPERATOR_PKG_NAME} \
    --platform-address=${PLATFORM_ADDRESS} \
    --platform-username=${PLATFORM_ADMIN_USER} \
    --platform-password=${PLATFORM_ADMIN_PASSWORD} \
    --clusters=${CLUSTER} \
    ${VIOLET_EXTRA_ARGS[@]}

${PLATFORM_ADDRESS} — адрес вашей платформы ACP.
${PLATFORM_ADMIN_USER} — имя пользователя администратора платформы ACP.
${PLATFORM_ADMIN_PASSWORD} — пароль администратора платформы ACP.
${CLUSTER} — имя кластера, в который нужно установить компоненты Alauda AI.
${AI_CLUSTER_OPERATOR_NAME} — путь к архиву пакета Alauda AI Cluster Operator.
${KSERVELESS_OPERATOR_PKG_NAME} — путь к архиву пакета KServeless Operator.
${REGISTRY_ADDRESS} — адрес внешнего registry.
${REGISTRY_USERNAME} — имя пользователя внешнего registry.
${REGISTRY_PASSWORD} — пароль внешнего registry.

После настройки выполните сценарий с помощью bash ./uploading-ai-cluster-packages.sh, чтобы загрузить оба оператора: Alauda AI и Alauda AI Model Serving.