#Быстрый старт

#Overview

Этот документ предназначен для того, чтобы помочь новым пользователям быстро понять, как развернуть сервисы вывода в Alauda AI. Развернув простой сервис вывода «генерация текста» и опробовав его, вы сможете быстро освоить основные возможности и способы использования платформы.

#Applicable Scenarios

• Вы новый пользователь Alauda AI и хотите быстро понять, как опубликовать модель в виде вызываемого сервиса вывода.
• Вы хотите ознакомиться с базовыми функциями Alauda AI на простом примере, включая загрузку модели, публикацию сервиса вывода и вызов сервиса вывода.
• Вы только что развернули новую среду Alauda AI и хотите быстро проверить её работоспособность.

#Estimated Reading Time

Ориентировочное время на прочтение и выполнение операций по этому документу — около 20 минут.

#Notes

В этом документе показан только базовый процесс. Для подробной настройки параметров обращайтесь к полной документации.

#Prerequisites

• У вас уже есть учётная запись администратора платформы (используется для создания и управления namespace).
• Вы подготовили файл модели для развертывания (его можно заранее скачать с сайтов, таких как Hugging Face или ModelScope).
• Если требуется использовать GPU для вывода, убедитесь, что установлен GPU-плагин. Если нет, установите GPU-плагин в центре управления плагинами платформы.
• Вы знакомы с базовыми понятиями Kubernetes и машинного обучения.

#Step Overview

#Operation Steps

#Шаг 1: Создание Namespace и назначение прав пользователю

Примечание: пропустите этот шаг, если у вас уже есть namespace и назначены права пользователя

Namespace — основа для изоляции многопользовательской среды в Alauda AI, и для каждого проекта следует использовать отдельный namespace.

1. Войдите в контейнерную платформу под администратором.
2. Перейдите в Управление проектами, выберите или создайте проект.
3. На странице деталей проекта нажмите Namespace.
4. Нажмите Создать Namespace и введите имя (например, "text-classification-demo").
5. Нажмите Создать для завершения создания namespace.
6. Назначьте права на namespace пользователю:
   • Перейдите в Администратор > Пользователи > Пользователи.
   • Создайте пользователя или выберите существующего, которому нужно использовать этот namespace.
   • Нажмите Настроить роли > Добавить роль.
   • Добавьте Роли Alauda AI и свяжите их с созданным namespace и проектом, к которому относится namespace.
     • aml-namespace-editor: для разработчиков namespace, с правами создавать, удалять, изменять и просматривать модели и сервисы вывода.
     • aml-namespace-owner: для менеджеров namespace.
     • aml-namespace-viewer: только просмотр моделей, сервисов вывода и других ресурсов.

#Шаг 2: Управление Namespace

Примечание: пропустите этот шаг, если namespace уже управляется

Включите созданный namespace в управление Alauda AI:

1. Войдите в Alauda AI, выберите Admin в верхней навигации и выберите кластер, в котором находится созданный namespace, в разделе «Clusters» справа от Admin.
2. Нажмите Namespace Manage в левой навигационной панели и нажмите кнопку Management Namespace.
3. В появившемся диалоговом окне выберите созданный namespace "text-classification-demo".
4. Нажмите Management для завершения операции управления.

#Шаг 3: Загрузка модели

Примечание: пропустите этот шаг, если модель уже загружена или используется модель, общая для платформы

Загрузите модель классификации текста в репозиторий моделей:

1. Войдите в Alauda AI, выберите Business view в верхней навигации и выберите управляемый namespace из предыдущего шага.
2. Нажмите Model Repository в левой навигационной панели, нажмите Create Model Repository и введите подготовленное имя модели, например "gpt2".
3. После создания перейдите на вкладку File Management на странице деталей модели.
4. Нажмите Import Model File и перетащите или выберите файлы/подпапки модели для загрузки. При загрузке большой языковой модели UI может зависнуть из-за большого размера файлов. Рекомендуется использовать команду git push для загрузки больших файлов модели в репозиторий моделей.
5. Нажмите кнопку Import и дождитесь завершения загрузки.
6. На вкладке File Management нажмите Update metadata и выберите правильные значения "Task Type" и "Framework" в соответствии с атрибутами большой модели.
   • Task Type: атрибут самой модели, который можно узнать, посмотрев метку на странице загрузки модели. Делится на «Text Generation», «Image Generation» и др.
   • Framework: также атрибут модели, который можно узнать по метке на странице загрузки модели. Делится на «Transformers», «MLflow» и др. Большинство популярных open-source больших языковых моделей относятся к типу «Transformers».

#Шаг 4: Публикация сервиса вывода

Опубликуйте модель как онлайн-сервис вывода:

1. На странице деталей модели нажмите Publish inference API > Custom publishing.
2. Настройте параметры сервиса:
   • Name: gpt2-service
   • Model: gpt2
   • Version: Branch-main
   • Inference Runtimes: выбирается в зависимости от версии cuda, установленной на GPU-узле. Например, если установлен драйвер cuda11, выберите "vllm-cuda11.8-x86". Если cuda12 — выберите "vllm-cuda12.1-x86".
   • Resource Requests: 1CPU/4Gi Memory
   • Resource Limits: 2CPU/6Gi Memory
   • GPU Acceleration: GPU Manager
     • GPU vcore: 30
     • GPU vmemory: 32
   • Storage: подключение существующего PVC/созданного PVC или временное хранилище/ёмкость 10Gi
   • Auto Scaling: Выключено
   • Количество экземпляров: 1
3. Нажмите Publish и дождитесь запуска сервиса.
4. Просмотрите статус сервиса на странице Inference Services.

#Шаг 5: Вызов сервиса вывода

Проверьте опубликованный сервис вывода:

1. Нажмите Inference Services в левой навигационной панели, выберите имя «Опубликованного сервиса вывода» и на странице деталей сервиса нажмите Experience.
2. Введите тестовый текст, например «Рекомендуй несколько хороших книг».
3. Просмотрите сгенерированный текст и параметры генерации, возвращённые моделью.