#Введение

Сервис вывода является ключевой функцией платформы Alauda AI, предназначенной для эффективного развертывания моделей LLM в качестве онлайн-сервисов вывода, поддерживающим различные методы вызова, такие как HTTP API и gRPC. Через Сервис вывода пользователи могут быстро создавать приложения LLM и предоставлять стабильные, высокопроизводительные возможности LLM внешним пользователям.

#Основные преимущества

• Быстрое развертывание модели:
  • Поддерживает прямое развертывание сервисов вывода из Репозитория моделей, упрощая шаги развертывания.
  • Поддержка пользовательских определенных образов docker для развертывания сложных сервисов вывода, определенных пользователем.
• Поддержка многопрофильного времени выполнения:
  • Интегрирует основные среды выполнения вывода, такие как Seldon MLServer и vLLM, поддерживает различные модели и удовлетворяет требованиям развертывания различных моделей.
• Визуальная демонстрация вывода:
  • Обеспечивает визуальные функции "демонстрации вывода" для общих типов задач, позволяя пользователям быстро проверять результаты вывода.
• Гибкие методы вызова:
  • Поддерживает различные методы вызова, такие как HTTP API и gRPC, позволяя пользователям делать запросы на возможности LLM в различных сценариях приложений.

#Сценарии применения

• Онлайн-приложения LLM:
  • Развертывание моделей LLM в качестве онлайн-сервисов для предоставления возможностей LLM внешним пользователям.
• Вывод в реальном времени:
  • Поддерживает сценарии вывода в реальном времени, удовлетворяя потребности приложений с высокими требованиями к скорости отклика.
• Пакетный вывод:
  • Поддерживает пакетный вывод, выполняя расчеты вывода на больших наборах данных.
• Интеграция приложений:
  • Интеграция возможностей LLM в существующие приложения через API.