logo
Alauda AI
English
Русский
English
Русский
logo
Alauda AI
Навигация

Обзор

Введение
Быстрый старт
Примечания к выпуску

Установка

Предварительная настройка
Установка Alauda AI Essentials
Установка Alauda AI

Обновление

Обновление с AI 1.3

Удаление

Удаление

Управление инфраструктурой

Управление устройствами

О Alauda Build of Hami
О плагине устройства NVIDIA GPU от Alauda Build

Мультиарендность

Руководства

Управление пространствами имён

Рабочее пространство

Обзор

Введение
Установка
Обновление

Как сделать

Создание WorkspaceKind
Создание Workbench

Развертывание модели и вывод

Обзор

Введение
Features

Сервис вывода

Введение

Руководства

Inference Service

Как сделать

Extend Inference Runtimes
Configure External Access for Inference Services
Configure Scaling for Inference Services

Устранение неполадок

Проблемы с таймаутами сервиса инференса при использовании MLServer Runtime
Служба инференса не переходит в состояние Running

Управление моделями

Введение

Руководства

Model Repository

Мониторинг и операции

Обзор

Введение
Features Overview

Ведение журналов и трассировка

Введение

Руководства

Логирование

Мониторинг ресурсов

Введение

Руководства

Мониторинг ресурсов

Справочник API

Введение

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]
InferenceService [serving.kserve.io/v1beta1]

Workbench APIs

Workspace Kind [kubeflow.org/v1beta1]
Workspace [kubeflow.org/v1beta1]

Manage APIs

AmlNamespace [manage.aml.dev/v1alpha1]

Operator APIs

AmlCluster [amlclusters.aml.dev/v1alpha1]
Глоссарий
Предыдущая страницаПроблемы с таймаутами сервиса инференса при использовании MLServer Runtime
Следующая страницаУправление моделями

#Служба инференса не переходит в состояние Running

#Содержание

#Описание проблемы

После развертывания службы инференса она длительное время остается в состоянии, отличном от running. Соответствующий Pod не создается в разделе Workloads платформы Alauda Container Platform. Однако связанный ресурс Deployment был успешно создан.

В разделе Real-time Events для Deployment наблюдается похожее сообщение об ошибке:

FailedCreate: Error creating: pods "gpt2-predictor-f677f684f-sjwq7" is forbidden: violates PodSecurity "baseline:latest": host namespaces (hostIPC=true)

#Анализ причины

Данная проблема вызвана механизмом Pod Security Admission, который включен в вашем Kubernetes-кластере с ограничительной политикой безопасности. Когда Pod службы инференса пытается использовать привилегированные возможности, такие как пространства имен хоста (например, через hostIPC=true), политика блокирует его создание для предотвращения потенциальных уязвимостей безопасности.

В этом конкретном случае использование hostIPC=true нарушает стандарт Pod Security "baseline", который явно запрещает использование пространств имен хоста для обеспечения изоляции Pod.

#Решения

Для устранения проблемы сначала рекомендуется проверить конфигурацию службы инференса. Если вашему runtime не требуется строго привилегированный режим, например hostIPC: true, самым безопасным решением будет изменить конфигурацию workload и убрать эти требования к привилегиям. Это решит проблему без ущерба для безопасности.

Если вашему workload действительно необходимы эти привилегированные возможности, выполните следующие шаги для изменения уровня политики безопасности:

  1. Перейдите в представление Projects и выберите Project, содержащий вашу службу инференса.
  2. В списке Namespace найдите namespace, в котором размещена служба, и нажмите кнопку "..." справа в строке.
  3. В выпадающем меню выберите Update Pod Security Admission.
  4. В появившемся окне установите для всех трех режимов безопасности (Enforce, Audit и Warn) значение Privileged.
  5. Нажмите Update для сохранения изменений.

#Итог

Ошибка запуска Pod службы инференса обычно связана с нарушением политики безопасности namespace. Изменив уровень Pod Security Admission для namespace на Privileged, вы разрешите создание и успешный запуск Pod службы инференса.