TIP
Изучите ключевые возможности модуля Мониторинга и Операций, разработанного для Служб Вывода. Этот обзор представляет основные функции, которые помогают пользователям эффективно контролировать, анализировать и оптимизировать операции AI-сервисов.
Обзор функций
Содержание
Логирование
- Логи подов в реальном времени
Потоковые логи из реплик подов, связанных со службами вывода, в реальном времени. Быстро исправляйте ошибки и отслеживайте поведение сервиса в различных развертываниях.
Мониторинг
Монитор ресурсов
- Использование ЦП/ОЗУ
Отслеживайте метрики использования ЦП и ОЗУ для служб вывода, чтобы оптимизировать распределение ресурсов и предотвратить узкие места.
Монитор вычислений
- Метрики GPU и VRAM
Мониторьте использование вычислений GPU и потребление видеопамяти (VRAM) для обеспечения эффективного использования аппаратного обеспечения для ускоренных рабочих нагрузок.
Другой монитор
- Пропускная способность токенов
Измеряйте скорость обработки токенов для оценки производительности и масштабируемости модели. - Аналитика трафика запросов
Анализируйте объем запросов, задержку и отслеживайте успешные/неудачные запросы в секунду (QPS) для поддержания надежности сервиса и выполнения SLAs.