#Обзор возможностей

#Репозиторий моделей

• Создание и удаление репозитория моделей

  Поддерживает создание репозиториев моделей типа 'private', и пользователи могут удалять эти репозитории. Только администраторы могут создавать репозитории моделей типа 'shared', и только администраторы могут их удалять.

• Управление версиями моделей

  Поддерживает контроль версий для моделей, включая создание тегов и веток. Также позволяет делать коммиты для изменения файлов в существующих ветках.

#Сервисы вывода

• Развертывание пользовательского сервиса вывода

  Позволяет развертывать любую модель из репозитория моделей в качестве сервиса вывода, настраивая параметры.

• Развертывание сервиса вывода на основе шаблонов

  Пользователи могут задавать шаблоны сервисов вывода и использовать их для создания сервисов вывода.

• Динамическое масштабирование сервисов вывода

  Поддерживает автоматическое масштабирование реплик в зависимости от объема трафика. Позволяет настраивать безсерверное конфигурирование, чтобы уменьшить количество реплик до 0 в периоды бездействия (освобождая ресурсы GPU) и автоматически увеличивать количество при возобновлении трафика.

• Временные окружения для вывода

  Предустановлено с общими временными окружениями вывода: vllm-cpu, vllm-gpu, mlserver-cpu, mlserver-gpu и т.д. Также поддерживает пользовательские сторонние временные окружения.

• Восприятие вывода

  После развертывания пользователи могут испытать сервисы вывода через пользовательский интерфейс. В настоящее время поддерживает восприятие для трех категорий: 'Генерация текста', 'Классификация текста' и 'Генерация изображений'.

• Наблюдаемость сервиса вывода

  Обеспечивает мониторинг и просмотр журналов, включая:

  • Мониторинг ресурсов
  • Мониторинг вычислительной мощности
  • Мониторинг бизнес-метрик (например, токены).

• Пакетные операции для сервисов вывода

  Позволяет выполнять массовые операции по управлению несколькими сервисами вывода, включая 'Пакетный запуск', 'Пакетная остановка' и 'Пакетное удаление'.