#Установка Alauda Build of KServe

Alauda Build of KServe — это облачный компонент, построенный на основе KServe для обслуживания моделей генеративного ИИ. В качестве расширения экосистемы Alauda AI он специально оптимизирован для Large Language Models (LLMs), предоставляя ключевые функции, такие как оркестрация инференса, потоковые ответы и автоматическое масштабирование ресурсов для генеративных нагрузок.

#Предварительные требования

Перед установкой Alauda Build of KServe необходимо убедиться, что установлены следующие зависимости:

#Обязательные зависимости

#Необязательные зависимости

#Примечания по установке

1. Обязательные зависимости: Все три обязательные зависимости должны быть установлены до установки Alauda Build of KServe.
2. Интеграция GIE: Если вы хотите использовать GIE, его можно включить во время установки, выбрав опцию «Integrated GIE» в UI Alauda Build of KServe.
3. Интеграция Alauda AI: Если вам не нужна функциональность KServe Predictive AI и вы хотите использовать только генеративный AI LLM, опцию «Integrated With Alauda AI» можно отключить при установке.

#Загрузка Cluster Plugin

#Загрузка Cluster Plugin

Для получения дополнительной информации о загрузке плагина кластера обратитесь к Uploading Cluster Plugins

#Установка Alauda Build of KServe

1. Перейдите на страницу Administrator -> Marketplace -> Cluster Plugin, переключитесь на целевой кластер и разверните плагин кластера Alauda Build of KServe.

2. В форме развертывания настройте следующие параметры по необходимости:

#Конфигурация Envoy Gateway

#Конфигурация Envoy AI Gateway

#Конфигурация KServe Gateway

#Конфигурация GIE (gateway-api-inference-extension)

#Интеграция Alauda AI

3. Нажмите Install для начала процесса установки.

4. Проверьте результат. В UI должен отображаться статус «Installed».

#Обновление Alauda Build of KServe

1. Загрузите новую версию пакета плагина Alauda Build of KServe в ACP.
2. Перейдите на страницу Administrator -> Clusters -> Target Cluster -> Functional Components, затем нажмите кнопку Upgrade, и вы увидите, что Alauda Build of KServe доступен для обновления.