Введение
Inference Service — это ключевая функция платформы Alauda AI, предназначенная для эффективного развертывания моделей LLM в виде онлайн-сервисов вывода, поддерживающих различные методы вызова, такие как HTTP API и gRPC. С помощью Inference Service пользователи могут быстро создавать приложения на базе LLM и предоставлять стабильные, высокопроизводительные возможности LLM внешним пользователям.
WARNING
Запуск встроенного runtime в контейнере требует прав root. Пожалуйста, убедитесь, что он используется в доверенной среде и соблюдайте свои политики безопасности.