#Установка Alauda Hyperflux

#Загрузка пакета и загрузка в кластер

Вы можете скачать приложение под названием «Alauda Hyperflux» из Marketplace на сайте Customer Portal.
Загруженный пакет представляет собой tarball-файл с именем alauda-hyperflux-<version>.tar.gz.

Скачайте командную утилиту violet, если она отсутствует на вашей машине:

1. Войдите в ACP Web Console и переключитесь в режим Administrator.
2. В разделе Marketplace / Upload Packages нажмите Download Packaging and Listing Tool.
3. Выберите подходящую ОС и архитектуру CPU, затем нажмите Download.
4. Выполните команду chmod +x ${PATH_TO_THE_VIOLET_TOOL}, чтобы сделать утилиту исполняемой.

Сохраните следующий скрипт в файл upload.sh,
затем отредактируйте его, заполнив правильные значения конфигурации согласно комментариям.

#!/usr/bin/env bash
# Установите адрес ACP и учетные данные администратора
export PLATFORM_ADDRESS=https://platform-address  
export PLATFORM_ADMIN_USER=<admin>
export PLATFORM_ADMIN_PASSWORD=<admin-password>
# Установите файл пакета для загрузки
export PACKAGE_FILE=alauda-hyperflux-<version>.tar.gz  

VIOLET_EXTRA_ARGS=()
IS_EXTERNAL_REGISTRY=""

# Если тип реестра образов целевого кластера не является встроенным в платформу (внешний приватный или публичный репозиторий).
# Требуется дополнительная конфигурация (раскомментируйте следующую строку):
# IS_EXTERNAL_REGISTRY=true
if [[ "${IS_EXTERNAL_REGISTRY}" == "true" ]]; then
    REGISTRY_ADDRESS=<external-registry-url>
    REGISTRY_USERNAME=<registry-username>
    REGISTRY_PASSWORD=<registry-password>

    VIOLET_EXTRA_ARGS+=(
        --dst-repo "${REGISTRY_ADDRESS}"
        --username "${REGISTRY_USERNAME}"
        --password "${REGISTRY_PASSWORD}"
    )
fi

# Загрузить пакет оператора **Alauda AI Cluster** в целевой кластер
violet push \
    ${AI_CLUSTER_OPERATOR_NAME} \
    --platform-address=${PLATFORM_ADDRESS} \
    --platform-username=${PLATFORM_ADMIN_USER} \
    --platform-password=${PLATFORM_ADMIN_PASSWORD} \
    --clusters=${CLUSTER} \
    ${VIOLET_EXTRA_ARGS[@]}

#Подготовка LLM и сервиса rerank

Перед установкой Alauda Hyperflux необходимо подготовить LLM-сервис для использования Alauda Hyperflux.
Вы можете использовать Azure OpenAI service или развернуть On-Premise LLM-сервис, например vllm, с помощью Alauda AI.

В процессе установки Alauda Hyperflux вам понадобятся endpoint LLM-сервиса, имя модели и API-ключ.

Опционально, если вы хотите включить функцию rerank в Alauda Hyperflux, необходимо также подготовить
rerank-сервис, поддерживающий Cohere Reranker API v2.

#Подготовка дампа базы данных (Только для версии v1.2.0)

Скачайте дамп базы данных, например docvec_acp_4_1.dump, соответствующий вашей текущей версии ACP.
Вы ДОЛЖНЫ использовать имя файла без расширения .dump в качестве имени базы данных при установке.

#Установка плагина кластера Alauda Hyperflux

Перейдите на страницу Administrator / Marketplace / Cluster Plugins,
выберите кластер «global» из выпадающего списка кластеров,
затем найдите плагин Alauda Hyperflux и нажмите Install.

ПРИМЕЧАНИЕ: Alauda Hyperflux ДОЛЖЕН быть установлен в кластере Global.

Заполните следующие параметры конфигурации:

• Встроенная база данных PG:
  • Включена: будет установлен один экземпляр PostgreSQL в кластере для использования Alauda Hyperflux. Необходимо задать:
    • размер хранилища: размер хранилища для данных PostgreSQL.
    • имя класса хранилища: имя Kubernetes storage class, например sc-topolvm
  • Отключена: создайте секрет, как показано ниже, чтобы предоставить данные для подключения к внешнему PostgreSQL.

    apiVersion: v1
    kind: Secret
    metadata:
      name: pg-secret
      namespace: cpaas-system
    type: Opaque
    stringData:
      host: <your-pg-host>
      port: <your-pg-port>
      username: <your-pg-username>
      password: <your-pg-password>
      uri: "postgresql+pg8000://<your-pg-username>:<your-pg-password>@<your-pg-host>:<your-pg-port>"
• Имя базы данных PG: имя базы данных для использования Alauda Hyperflux. ДОЛЖНО совпадать с именем файла дампа без суффикса .dump.
• Node Selector (Опционально): задайте node selector для pod-ов Alauda Hyperflux при необходимости.
• Тип модели LLM: Azure или OpenAI.
• Базовый URL LLM: базовый URL для вызовов API LLM. При использовании On-Premise LLM-сервиса, например vllm, URL должен иметь вид http://<your-vllm-host>:<port>/v1.
• Имя модели: имя модели для вызовов API LLM.
• API ключ: API ключ для вызовов API LLM.
• Версия API Azure (Опционально): при использовании Azure OpenAI service укажите здесь версию API.
• Имя развертывания Azure (Опционально): при использовании Azure OpenAI service укажите здесь имя развертывания.
• Включить Rerank: включить функцию rerank в Alauda Hyperflux с использованием Cohere API. Если включено, задайте следующие параметры:
  • Базовый URL Cohere Reranker: базовый URL для вызовов Cohere Reranker API.
  • Модель Cohere Reranker: имя модели для вызовов Cohere Reranker API.
  • API ключ Cohere: API ключ для вызовов Cohere Reranker API.
• Включить режим агента: включить режим агента для использования инструментов MCP для получения информации о кластере в реальном времени.
  • ПРИМЕЧАНИЕ: Режим агента является экспериментальной функцией, используйте с осторожностью.
• Адрес K8s API сервера MCP: адрес K8s API сервера кластера MCP.
  • ВАЖНО: Установите этот URL на адрес erebus, например https://erebus.cpaas-system:443/kubernetes/<cluster-name>.
  • ВАЖНО: cluster-name должен соответствовать имени кластера, к которому MCP инструменты должны иметь доступ.
• Имена администраторов: список администраторов через запятую. Администраторы могут управлять журналами аудита в Alauda Hyperflux.

Нажмите Install для начала установки.

#Импорт дампа базы данных для инициализации базы знаний (Только для версии v1.2.0)

После завершения установки Alauda Hyperflux необходимо импортировать дамп базы данных для инициализации базы знаний.
Выполните следующие команды для импорта дампа базы данных:

# Получить имя pod-а PostgreSQL
kubectl -n cpaas-system get pod | grep postgre-vec
# Скопировать дамп в pod PostgreSQL
kubectl -n cpaas-system cp docvec_acp_4_1.dump <postgre-vec-xxx>:/tmp/docvec_acp_4_1.dump
# Временно остановить деплоймент Alauda Hyperflux, чтобы избежать проблем с подключением во время импорта базы данных
kubectl -n cpaas-system scale deployment smart-doc --replicas=0
# Выполнить вход в pod PostgreSQL
kubectl -n cpaas-system exec -it <postgre-vec-xxx> -- /bin/bash
# Импортировать дамп базы данных
# ПРИМЕЧАНИЕ: замените имя базы данных docvec_acp_4_1 на актуальное имя базы данных
psql -U postgres -W -c "DROP DATABASE docvec_acp_4_1;"
psql -U postgres -W -c "CREATE DATABASE docvec_acp_4_1;"
pg_restore -U postgres -W -d docvec_acp_4_1 /tmp/docvec_acp_4_1.dump
# Введите пароль при запросе
# Выйти из pod-а
exit

# Перезапустить деплоймент Alauda Hyperflux
kubectl -n cpaas-system scale deployment smart-doc --replicas=1
# Выполнить db_orm.py для повторной инициализации схемы базы данных
kubectl -n cpaas-system exec -it <smart-doc-xxx> -- python /workspace/db_orm.py

ПРИМЕЧАНИЕ: при использовании встроенной базы данных PostgreSQL пароль по умолчанию — alauda-test.

#Устранение неполадок

Если интерфейс чата не отвечает, вы можете проверить логи pod-а Alauda Hyperflux для диагностики:

kubectl -n cpaas-system logs -l app=smart-doc -c serve

В большинстве случаев проблема вызвана неправильной конфигурацией LLM-сервиса или Cohere API при включенном rerank.
Проверьте сообщения об ошибках в логах для исправления конфигурационных ошибок.