#Использование Kubeflow Volumes

Тома в Kubeflow управляются как Kubernetes Persistent Volume Claims (PVCs). Они предоставляют постоянное хранилище для ваших данных, рабочих пространств и моделей, независимо от жизненного цикла ваших Notebook servers или других рабочих нагрузок.

#Создание тома

1. Откройте Dashboard: Щелкните Volumes на боковой панели центрального dashboard Kubeflow.
2. New Volume: Щелкните New Volume.
3. Настройка:
   • Name: Введите уникальное имя для тома.
   • Storage Class: Выберите Storage Class (например, topolvm, nfs), если доступно несколько вариантов.
   • Size: Укажите размер тома в Gi (например, 10).
   • Access Mode:
     • ReadWriteOnce (RWO): Подключается одним узлом (обычно используется для блочного хранилища).
     • ReadWriteMany (RWX): Подключается несколькими узлами (обычно используется для NFS/File storage).
4. Create: Щелкните Create. После выделения ресурсов статус тома изменится на Bound.

#Управление томами

• Открыть PVC Viewer: Щелкните значок "Folder" рядом с томом, чтобы создать временный Pod, который подключит том и откроет файловый браузер. Это позволяет просматривать/загружать/скачивать файлы непосредственно в томе. По завершении щелкните "Close", чтобы удалить временный Pod.
• Delete: Щелкните значок удаления (корзина) рядом с томом, чтобы удалить его. Примечание: Это необратимо удаляет данные.
• Filter: Фильтруйте тома по имени, статусу или Storage Class с помощью строки поиска.

#Использование тома в Notebooks

Чтобы использовать том в Notebook Server:

1. При создании New Notebook создайте стандартный Workspace Volume (подключаемый в /home/jovyan) или...
2. Прокрутите до Data Volumes, чтобы подключить дополнительные существующие тома.
3. Щелкните Attach Existing Volume и выберите ваш том.
4. Укажите Mount Path (например, /home/jovyan/data).

#Использование Kubeflow KServe Endpoints

Интерфейс KServe Endpoints позволяет развертывать, управлять и отслеживать inference services для ваших моделей машинного обучения непосредственно из dashboard Kubeflow.

#Доступ к интерфейсу Endpoints

1. Щелкните KServe Endpoints на боковой панели центрального dashboard.
2. Выберите ваш namespace в верхней части страницы.
3. Вы увидите список развернутых InferenceServices с их статусом и URL.

#Развертывание новой модели

1. New Endpoint: Щелкните New Endpoint.

2. InferneceService YAML:

   • Предоставьте YAML-определение для вашего InferenceService. Вы можете использовать приведенный ниже пример YAML в качестве шаблона.

3. Deploy: Щелкните Create.

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: my-model
     namespace: my-namespace
   spec:
     predictor:
       model:
         modelFormat:
           name: "transformers"
         runtime: aml-vllm-0.9.2-cuda-12.6
         storageUri: "hf://model-repo/model-name"

#Мониторинг и тестирование

После развертывания дождитесь, пока статус не станет Ready.

• Inspect: Щелкните по имени модели, чтобы увидеть сведения YAML и логи.
• Get URL: Скопируйте предоставленный URL endpoint (например, http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict или внешний URL).
• Test: Используйте curl или Python client, чтобы отправить запрос на prediction.