#Сервис инференса

Основное назначение функции сервиса инференса — развертывать обученные модели машинного обучения или deep learning как онлайн-сервисы, доступные по вызову, с использованием таких протоколов, как HTTP API или gRPC, чтобы приложения могли использовать функции модели по предсказанию, классификации, генерации и другие возможности в реальном времени или пакетно. Эта функция в первую очередь решает задачу эффективного, стабильного и удобного развертывания моделей в production-среды после завершения обучения модели, а также предоставления масштабируемых онлайн-сервисов.

#Преимущества

• Упрощает процесс развертывания модели, снижая сложность публикации.
• Предоставляет высокодоступные, высокопроизводительные онлайн- и пакетные inference-сервисы.
• Поддерживает динамическое обновление моделей и управление версиями.
• Реализует автоматизированную эксплуатацию, обслуживание и мониторинг inference-сервисов.

#Основные возможности

Прямое развертывание модели для inference-сервисов

• Позволяет пользователям напрямую выбирать конкретные версии файлов модели из репозитория моделей и указывать образ среды выполнения инференса, чтобы быстро развернуть онлайн inference-сервисы. Система автоматически загружает, кэширует и подгружает модель, запуская inference-сервис. Это упрощает процесс развертывания модели и снижает порог входа.

Приложение для inference-сервисов

• Используйте приложения Kubernetes в качестве inference-сервисов. Такой подход обеспечивает большую гибкость и позволяет пользователям настраивать среду инференса в соответствии со своими потребностями.

Управление шаблонами inference-сервисов

• Поддерживает создание, управление и удаление шаблонов inference-сервисов, позволяя пользователям быстро развертывать inference-сервисы на основе предопределенных шаблонов.

Пакетные операции с inference-сервисами

• Поддерживает пакетные операции над несколькими inference-сервисами, такие как пакетный запуск, остановка, обновление и удаление.
• Поддерживает создание, мониторинг и экспорт результатов пакетных задач инференса.
• Предоставляет пакетное управление ресурсами, позволяя выделять и корректировать ресурсы inference-сервисов пакетно.

Интерфейс инференса

• Предоставляет интерактивный интерфейс, который упрощает тестирование и использование inference-сервисов пользователями.
• Поддерживает несколько форматов входных и выходных данных, чтобы соответствовать потребностям различных сценариев применения.
• Предоставляет инструменты оценки производительности модели, помогающие пользователям оптимизировать развертывание модели.

Поддержка среды выполнения инференса

• Интегрирует различные основные фреймворки инференса, такие как vLLM, Seldon MLServer и т. д., а также поддерживает пользовательские среды выполнения инференса.

Способы доступа, журналы, Swagger, мониторинг и т. д.

• Предоставляет несколько способов доступа, таких как HTTP API и gRPC.
• Поддерживает детальную запись и анализ журналов, чтобы облегчить устранение неполадок пользователями.
• Автоматически генерирует документацию Swagger, чтобы упростить интеграцию и вызов inference-сервисов.
• Предоставляет функции мониторинга и оповещения в реальном времени для обеспечения стабильной работы сервиса.

#Создать сервис инференса

#Управление шаблонами inference-сервисов

AML представляет Template Publish для быстрого развертывания inference-сервисов. Вы можете создавать и удалять шаблоны (для обновления шаблонов требуется создать новый).

#Обновление inference-сервиса

1. В левой панели навигации нажмите Inference Service.
2. Нажмите inference service name.
3. На странице сведений о inference-сервисе нажмите Actions > Update в правом верхнем углу, чтобы перейти на страницу обновления.
4. Измените необходимые поля и нажмите Update. Система выполнит rolling update, чтобы не нарушить работу существующих клиентских запросов.

#Вызов опубликованного inference-сервиса

AML предоставляет визуальный способ "Inference Experience" для доступа к опубликованному inference-сервису для распространенных типов задач; вы также можете использовать метод HTTP API для вызова inference-сервиса.

#Интерактивный инференс

AML поддерживает демонстрацию инференса inference-сервиса для следующих типов задач (тип задачи указывается в метаданных модели):

• Генерация текста
• Классификация текста
• Классификация изображений
• Текст в изображение

После успешной публикации inference-сервиса для указанных выше типов задач вы можете отобразить диалоговое окно "Inference Experience" справа на странице сведений о модели и на странице сведений о inference-сервисе. В зависимости от типа задачи инференса типы входных и выходных данных могут различаться. Например, для генерации текста введите текст, и после текста, введенного в текстовое поле, можно добавить текст, сгенерированный моделью, синим шрифтом. Интерактивный инференс поддерживает выбор различных inference-сервисов, развернутых в разных кластерах и опубликованных одним и тем же модельным артефактом несколько раз. После выбора inference-сервиса именно он будет вызван для возврата результата инференса.

#Вызов через HTTP API

После публикации inference-сервиса вы можете вызывать его в приложениях или других сервисах. В этом документе в качестве примера будет использоваться код на Python, чтобы показать, как вызывать опубликованный inference API.

1. В левой панели навигации нажмите Inference Service > Inference Service Name, чтобы перейти на страницу сведений о inference-сервисе.

2. Нажмите вкладку Access Method, чтобы получить способ доступа внутри кластера или вне кластера. К способу доступа внутри кластера можно обращаться напрямую из Notebook или других контейнеров в этом кластере K8s. Если требуется доступ из-за пределов кластера (например, с локального ноутбука), необходимо использовать способ доступа вне кластера.

3. Нажмите Call Example, чтобы просмотреть пример кода.

   Примечание: Код, приведенный в примере вызова, представляет собой только протокол вызова API, поддерживаемый inference-сервисом, опубликованным с использованием среды выполнения mlserver (Seldon MLServer). Кроме того, вкладка Swagger также поддерживает доступ только к inference-сервису, опубликованному средой выполнения mlserver.

#Описание параметров инференса

При вызове inference-сервиса можно регулировать эффект вывода модели, изменяя параметры инференса модели. В интерфейсе "Inference Experience" заранее подготовлены общие параметры и значения по умолчанию, а также можно добавить любые пользовательские параметры.

#Описание параметров для разных типов задач

#Генерация текста

#Предустановленные параметры

#Другие параметры

Дополнительные параметры см. в Text Generation Parameter Configuration.

#Текст в изображение

#Предустановленные параметры

#Другие параметры

Дополнительные параметры см. в Text-to-Image Parameter Configuration.

#Классификация текста

#Предустановленные параметры

Дополнительные параметры см. в Text Classification Parameter Configuration

#Дополнительные ссылки

Image Classification Parameter Configuration

Conversational Parameter Configuration

Summarization Parameter Configuration

Translation Parameter Configuration

Text2Text Generation Parameter Configuration

Image-to-Image Parameter Configuration