#Использование томов Kubeflow

Тома в Kubeflow управляются как Persistent Volume Claims (PVC) Kubernetes. Они обеспечивают постоянное хранилище для ваших данных, рабочих пространств и моделей, независимо от жизненного цикла серверов Notebook или других нагрузок.

#Создание тома

1. Доступ к панели управления:
   Нажмите Volumes в боковой панели центральной панели Kubeflow.
2. Новый том:
   Нажмите New Volume.
3. Настройка:
   • Name: Введите уникальное имя для тома.
   • Storage Class: Выберите Storage Class (например, topolvm, nfs), если доступно несколько вариантов.
   • Size: Укажите размер тома в Gi (например, 10).
   • Access Mode:
     • ReadWriteOnce (RWO): Монтируется одним узлом (обычно для блочного хранилища).
     • ReadWriteMany (RWX): Монтируется многими узлами (обычно для NFS/файлового хранилища).
4. Создать:
   Нажмите Create. Статус тома изменится на Bound после выделения.

#Управление томами

• Открыть просмотр PVC: Нажмите на иконку "Папка" рядом с томом, чтобы создать временный Pod, который монтирует том и открывает файловый браузер. Это позволяет просматривать/загружать/скачивать файлы напрямую в том. Нажмите "Close" для удаления временного Pod после завершения работы.
• Удалить: Нажмите иконку удаления (корзина) рядом с томом для его удаления. Внимание: это приведёт к безвозвратному удалению данных.
• Фильтр: Фильтруйте тома по имени, статусу или Storage Class с помощью строки поиска.

#Использование тома в Notebooks

Чтобы использовать том в Notebook Server:

1. При создании New Notebook создайте стандартный Workspace Volume (монтируется в /home/jovyan) или...
2. Прокрутите до раздела Data Volumes для подключения дополнительных существующих томов.
3. Нажмите Attach Existing Volume и выберите нужный том.
4. Укажите Mount Path (например, /home/jovyan/data).

#Использование Kubeflow KServe Endpoints

Интерфейс KServe Endpoints позволяет развертывать, управлять и мониторить сервисы инференса для ваших моделей машинного обучения непосредственно из панели Kubeflow.

#Доступ к интерфейсу Endpoints

1. Нажмите KServe Endpoints в боковой панели центральной панели.
2. Выберите ваше namespace в верхней части страницы.
3. Вы увидите список развернутых InferenceServices с их статусом и URL.

#Развертывание новой модели

1. Новая конечная точка:
   Нажмите New Endpoint.

2. YAML InferenceService:

   • Предоставьте YAML-описание вашего InferenceService. Вы можете использовать пример YAML ниже в качестве шаблона.

3. Развернуть:
   Нажмите Create.

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: my-model
     namespace: my-namespace
   spec:
     predictor:
       model:
         modelFormat:
           name: "transformers"
         runtime: aml-vllm-0.9.2-cuda-12.6
         storageUri: "hf://model-repo/model-name"

#Мониторинг и тестирование

После развертывания дождитесь, пока статус не станет Ready.

• Просмотр: Нажмите на имя модели, чтобы увидеть детали YAML, логи.
• Получить URL: Скопируйте предоставленный URL конечной точки (например, http://model-name.namespace.svc.cluster.local/v1/models/model-name:predict или внешний URL).
• Тестирование: Используйте curl или Python-клиент для отправки запроса на предсказание.