#Использование томов Kubeflow

Тома в Kubeflow управляются как Kubernetes Persistent Volume Claims (PVC). Они обеспечивают постоянное хранилище для ваших данных, рабочих пространств и моделей независимо от жизненного цикла ваших Notebook servers или других рабочих нагрузок.

#Создание тома

1. Доступ к Dashboard: Нажмите Volumes на боковой панели центрального Dashboard Kubeflow.
2. Новый том: Нажмите New Volume.
3. Настройка:
   • Name: Введите уникальное имя тома.
   • Storage Class: Выберите Storage Class (например, topolvm, nfs), если доступно несколько вариантов.
   • Size: Укажите размер тома в Gi (например, 10).
   • Access Mode:
     • ReadWriteOnce (RWO): Монтируется одним узлом (обычно используется для блочного хранилища).
     • ReadWriteMany (RWX): Монтируется несколькими узлами (обычно используется для NFS/File storage).
4. Создать: Нажмите Create. После подготовки статус тома изменится на Bound.

#Управление томами

• Открыть PVC Viewer: Нажмите на значок "Folder" рядом с томом, чтобы создать временный Pod, который смонтирует том и откроет файловый браузер. Это позволяет просматривать, загружать и скачивать файлы напрямую в том. Нажмите "Close", чтобы удалить временный Pod после завершения.
• Удалить: Нажмите на значок удаления (корзина) рядом с томом, чтобы удалить его. Примечание: Это навсегда удалит данные.
• Фильтр: Фильтруйте тома по имени, статусу или Storage Class с помощью строки поиска.

#Использование тома в Notebooks

Чтобы использовать том в Notebook Server:

1. При создании New Notebook создайте стандартный Workspace Volume (монтируется в /home/jovyan) или...
2. Прокрутите до Data Volumes, чтобы подключить дополнительные существующие тома.
3. Нажмите Attach Existing Volume и выберите нужный том.
4. Укажите Mount Path (например, /home/jovyan/data).

#Использование конечных точек Kubeflow KServe

Интерфейс KServe Endpoints позволяет напрямую из Dashboard Kubeflow разворачивать, управлять и отслеживать inference services для ваших моделей машинного обучения.

#Доступ к интерфейсу Endpoints

1. Нажмите KServe Endpoints в боковой панели центрального Dashboard.
2. Выберите свой namespace в верхней части страницы.
3. Вы увидите список развернутых InferenceServices с их статусом и URL.

#Развертывание новой модели

1. New Endpoint: Нажмите New Endpoint.

2. InferenceService YAML:

   • Предоставьте YAML-описание для вашего InferenceService. В качестве шаблона можно использовать приведенный ниже пример YAML.

3. Deploy: Нажмите Create.

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: my-model
     namespace: my-namespace
   spec:
     predictor:
       model:
         modelFormat:
           name: "transformers"
         runtime: aml-vllm-0.9.2-cuda-12.6
         storageUri: "hf://model-repo/model-name"

#Мониторинг и тестирование

После развертывания дождитесь, пока статус не станет Ready.

• Inspect: Нажмите на имя модели, чтобы увидеть подробности YAML и логи.
• Get URL: Скопируйте предоставленный URL конечной точки (например, http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict или внешний URL).
• Test: Используйте curl или Python client, чтобы отправить запрос на prediction.