Быстрый старт#

Этот документ предназначен для того, чтобы помочь новым пользователям быстро понять, как развернуть сервисы вывода в Alauda AI. Развернув простой сервис вывода «генерация текста» и опробовав его, вы сможете быстро освоить основные возможности и способы использования платформы.

#Оценочное время чтения

Ориентировочно выполнение чтения и операций в этом документе займет около 20 минут.

#Примечания

В этом документе показан только базовый процесс. Для подробной настройки параметров обращайтесь к полной документации.

#Предварительные требования

• У вас уже есть учетная запись администратора платформы (используется для создания и управления namespace).
• Вы подготовили файл модели для развертывания (его можно заранее скачать с таких сайтов, как Hugging Face или ModelScope).
• Если требуется использовать GPU для вывода, убедитесь, что установлен GPU плагин. Если нет, установите GPU плагин в центре управления плагинами платформы.
• Вы знакомы с базовыми понятиями Kubernetes и моделей машинного обучения.

#Обзор шагов

#Пошаговые инструкции

#Шаг 1: Создание Namespace и назначение прав пользователю

Примечание: пропустите этот шаг, если у вас уже есть namespace и назначены права пользователя

Namespace — это основа для изоляции нескольких арендаторов в Alauda AI, и для каждого проекта следует использовать отдельный namespace.

1. Войдите в контейнерную платформу под администратором.
2. Перейдите в Управление проектами, выберите или создайте проект.
3. На странице деталей проекта нажмите Namespace.
4. Нажмите Создать Namespace и введите имя (например, "text-classification-demo").
5. Нажмите Создать, чтобы завершить создание namespace.
6. Назначьте права на namespace пользователю:
   • Перейдите в Администратор > Пользователи > Пользователи.
   • Создайте пользователя или выберите существующего, которому нужно предоставить доступ к этому namespace.
   • Нажмите Настроить роли > Добавить роль.
   • Добавьте Роли Alauda AI и свяжите их с созданным namespace и проектом, к которому принадлежит namespace.
     • aml-namespace-editor: для разработчиков namespace, с правами создавать, удалять, изменять и просматривать модели и сервисы вывода.
     • aml-namespace-owner: для менеджеров namespace.
     • aml-namespace-viewer: только для просмотра моделей, сервисов вывода и других ресурсов.

#Шаг 2: Управление Namespace

Примечание: пропустите этот шаг, если namespace уже управляется

Включите созданный namespace в управление Alauda AI:

1. Зайдите в Alauda AI, выберите Admin в верхней навигации и выберите кластер, в котором находится созданный namespace, в разделе «Clusters» справа от Admin.
2. Нажмите Namespace Manage в левой навигационной панели и нажмите кнопку Management Namespace.
3. В появившемся диалоговом окне выберите созданный namespace "text-classification-demo".
4. Нажмите Management, чтобы завершить операцию управления.

#Шаг 3: Загрузка модели

Примечание: пропустите этот шаг, если модель уже загружена или используется модель, общая для платформы

Загрузите модель классификации текста в репозиторий моделей:

1. Зайдите в Alauda AI, выберите Business view в верхней навигации и выберите управляемый namespace с предыдущего шага.
2. Нажмите Model Repository в левой навигационной панели, нажмите Create Model Repository и введите подготовленное имя модели, например "Meta-Llama-3-8B-Instruct".
3. Для завершения загрузки модели обратитесь к разделу Create Model Repository.
4. На вкладке File Management нажмите Update metadata и выберите правильные значения "Task Type" и "Framework" в соответствии с атрибутами большой модели.
   • Task Type: это атрибут самой модели, который можно узнать, посмотрев метку на странице деталей загрузки модели. Делится на «Text Generation», «Image Generation» и др.
   • Framework: также атрибут модели, который можно узнать по метке на странице загрузки модели. Делится на «Transformers», «MLflow» и др. Большинство популярных открытых больших языковых моделей относятся к типу «Transformers».

#Шаг 4: Публикация сервиса вывода

Опубликуйте модель как онлайн-сервис вывода:

1. На странице деталей модели нажмите Publish inference API > Custom publishing.
2. Настройте параметры сервиса:
   • Name: meta-llama-3-8b-service
   • Model: Meta-Llama-3-8B-Instruct
   • Version: Branch-main
   • Inference Runtimes: выбирается в зависимости от версии cuda, установленной на GPU-ноде. Например, если установлена cuda12.6 или новее, выберите "vllm-cuda12.6-x86".
   • Resource Requests: 2CPU/20Gi Memory
   • Resource Limits: 2CPU/20Gi Memory
   • GPU Acceleration: HAMi NVIDIA
     • gpu number: 1
     • vgpu cores: 50
     • GPU vmemory: 23552
   • Storage: Подключить существующий PVC/Объем 10Gi
   • Auto Scaling: Выключено
   • Количество экземпляров: 1
3. Нажмите Publish и дождитесь запуска сервиса.
4. Просмотрите статус сервиса на странице Inference Services.

#Шаг 5: Вызов сервиса вывода

Проверьте опубликованный сервис вывода:

1. Нажмите Inference Services в левой навигационной панели, выберите имя «Опубликованного сервиса вывода» и на странице деталей сервиса нажмите Experience.
2. Введите тестовый текст, например «Рекомендуй несколько хороших книг».
3. Просмотрите сгенерированный текст и параметры генерации, возвращённые моделью.