#Extend Inference Runtimes

#Создание ресурсов среды выполнения инференса

Вам нужно создать соответствующие ресурсы среды выполнения инференса в зависимости от целевой аппаратной среды (GPU/CPU/NPU).

1. Подготовьте YAML-конфигурацию среды выполнения:

   В зависимости от типа среды выполнения, которую вы хотите добавить (например, Xinference), и вашей целевой аппаратной среды подготовьте соответствующий YAML-файл конфигурации. Ниже приведены примеры для среды Xinference на разных аппаратных платформах:

• Пример среды для GPU

  # Пример YAML для среды Xinference GPU
  apiVersion: serving.kserve.io/v1alpha1
  kind: ClusterServingRuntime
  metadata:
    name: aml-xinference-cuda-12.1 # Имя ресурса среды выполнения
    labels:
      cpaas.io/runtime-class: xinference # обязательная метка типа среды выполнения
      cpaas.io/accelerator-type: "nvidia"
      cpaas.io/cuda-version: "12.1"
    annotations:
      cpaas.io/display-name: xinference-cuda-12.1 # Отображаемое имя в UI
  spec:
    containers:
    - name: kserve-container
      image: xprobe/xinference:v1.2.2  # Замените на ваш реальный образ среды выполнения для GPU
      env:
      # Обязательный параметр для всех сред – путь к директории модели
      - name: MODEL_PATH
        value: /mnt/models/{{ index .Annotations "aml-model-repo" }}
      # Параметр MODEL_UID необязателен для других сред.
      - name: MODEL_UID 
        value: '{{ index .Annotations "aml-model-repo" }}'
      # Параметр MODEL_ENGINE обязателен для среды Xinference, для других сред может быть опущен.
      - name: MODEL_ENGINE 
        value: "transformers"
      # Обязательный параметр для среды xinference, установите в соответствии с семейством вашей модели, например: "llama", "chatglm" и т.д.
      - name: MODEL_FAMILY 
        value: ""
      command:
      - bash
      - -c
      - |
          set +e
          if [ "${MODEL_PATH}" == "" ]; then
              echo "Необходимо задать MODEL_PATH!"
              exit 1
          fi
          if [ "${MODEL_ENGINE}" == "" ]; then
              echo "Необходимо задать MODEL_ENGINE!"
              exit 1
          fi
          if [ "${MODEL_UID}" == "" ]; then
              echo "Необходимо задать MODEL_UID!"
              exit 1
          fi
          if [ "${MODEL_FAMILY}" == "" ]; then
              echo "Необходимо задать MODEL_FAMILY!"
              exit 1
          fi
  
          xinference-local --host 0.0.0.0 --port 8080 &
          PID=$!
          while [ true ];
          do
              curl http://127.0.0.1:8080/docs
              if [ $? -eq 0 ]; then
                  break
              else
                  echo "ожидание готовности сервера xinference-local..."
                  sleep 1
              fi
          done
  
          set -e
          xinference launch --model_path ${MODEL_PATH} --model-engine ${MODEL_ENGINE} -u ${MODEL_UID} -n ${MODEL_FAMILY} -e http://127.0.0.1:8080 $@
          xinference list -e http://127.0.0.1:8080
          echo "модель успешно загружена, ожидание процесса сервера: ${PID}..."
          wait ${PID}
      # Добавьте эту строку для использования $@ в скрипте:
      # см.: https://unix.stackexchange.com/questions/144514/add-arguments-to-bash-c
      - bash
      resources:
        limits:
          cpu: 2
          memory: 6Gi
        requests:
          cpu: 2
          memory: 6Gi
      startupProbe:
        httpGet:
          path: /docs
          port: 8080
          scheme: HTTP
        failureThreshold: 60 
        periodSeconds: 10
        timeoutSeconds: 10
    supportedModelFormats:
      - name: transformers # Формат модели, поддерживаемый средой выполнения
        version: "1"
  
  • Совет: Обязательно замените значение поля image на путь к вашему реальному подготовленному образу среды выполнения. Также вы можете изменить поле annotations.cpaas.io/display-name для кастомизации отображаемого имени среды выполнения в UI AI платформы.

2. Примените YAML-файл для создания ресурса:

   В терминале с правами администратора кластера выполните команду для применения вашего YAML-файла и создания ресурса среды выполнения инференса:

   kubectl apply -f your-xinference-runtime.yaml
   TIP

   • Важный совет: Пожалуйста, ориентируйтесь на приведённые выше примеры и создавайте/настраивайте среду выполнения в соответствии с вашей реальной средой и требованиями инференса. Эти примеры приведены только для справки. Вам нужно будет скорректировать параметры, такие как образ, лимиты и запросы ресурсов, чтобы обеспечить совместимость среды выполнения с вашей моделью и аппаратной средой, а также эффективную работу.
   • Примечание: Вы сможете использовать эту пользовательскую среду выполнения на странице публикации сервиса инференса только после создания ресурса среды выполнения!

#Публикация сервиса инференса Xinference и выбор среды выполнения

После успешного создания ресурса среды выполнения Xinference вы сможете выбрать и настроить её при публикации сервиса инференса LLM на AI платформе.

1. Настройте фреймворк инференса для модели:

   Убедитесь, что на странице деталей модели в репозитории моделей, которую вы собираетесь публиковать, выбран соответствующий framework через функцию редактирования метаданных File Management. Значение параметра framework, выбранное здесь, должно совпадать со значением из поля supportedModelFormats, указанного при создании среды выполнения инференса. Пожалуйста, убедитесь, что значение параметра framework модели входит в список supportedModelFormats, установленный в среде выполнения инференса.

2. Перейдите на страницу публикации сервиса инференса:

   Войдите в AI платформу и перейдите в модули «Inference Services» или «Model Deployment», затем нажмите «Publish Inference Service».

3. Выберите среду выполнения Xinference:

   В мастере создания сервиса инференса найдите опцию «Runtime» или «Inference Framework». В выпадающем списке или меню выберите среду выполнения Xinference, которую вы создали на шаге 1 (например, «Xinference CPU Runtime» или «Xinference GPU Runtime (CUDA)»).

4. Установите переменные окружения: Среда выполнения Xinference требует определённых переменных окружения для корректной работы. На странице конфигурации сервиса инференса найдите раздел «Environment Variables» или «More Settings» и добавьте следующую переменную окружения:

   • Описание параметра переменной окружения

     Имя параметра	Описание
     MODEL_FAMILY	Обязательно. Указывает семейство LLM модели, которую вы разворачиваете. Xinference использует этот параметр для идентификации и загрузки правильной логики инференса для модели. Например, если вы разворачиваете модель Llama 3, установите значение llama; если это модель ChatGLM, установите chatglm. Пожалуйста, задайте это в соответствии с реальным семейством вашей модели.

   • Пример:

     • Имя переменной: MODEL_FAMILY
     • Значение переменной: llama (если вы используете модель серии Llama, ознакомьтесь с документацией для подробностей. Или выполните команду xinference registrations -t LLM для списка всех поддерживаемых семейств моделей.)