Русский

English
Русский

Alauda AI
Развертывание модели и вывод
Управление моделями
Как сделать

Навигация

Архитектура

Введение

Быстрый старт

Примечания к выпуску

Установка

Предварительная настройка

Установка Workbench

Установка Alauda AI Essentials

Установка Alauda AI

Конфигурация меню Tools

Обновление

Обновление Alauda AI

Миграция на Knative Operator

Удаление

Удаление

Управление инфраструктурой

Управление устройствами

О Alauda Build of Hami

О плагине устройства NVIDIA GPU от Alauda Build

Мультиарендность

Руководства

Управление пространствами имён

Рабочее пространство

Введение

Обновление

Как сделать

Создание Workbench

Дообучение LLM с использованием Workbench

Тонкая настройка LLM с помощью Training Hub

Fine-tune and Pretrain LLMs on Ascend NPU Using Workbench

Быстрый старт с Kubeflow Trainer

Развертывание модели и вывод

Введение

Сервис вывода

Введение

Руководства

Сервис инференса

Как сделать

Create Inference Service using CLI

Extend Inference Runtimes

Использование KServe Modelcar для хранения моделей

Включение Expert Parallel для сервисов в inference vLLM

Configure External Access for Inference Services

Configure Scaling for Inference Services

Scheduling Inference Services based on the CUDA version

Set Up Autoscaling for Inference Services with KEDA

Устранение неполадок

Проблемы с таймаутами сервиса инференса при использовании MLServer Runtime

Служба инференса не переходит в состояние Running

Управление моделями

Введение

Руководства

Репозиторий моделей

Хранилище модели

Как сделать

Загрузка моделей с использованием Notebook

Мониторинг и операции

Введение

Features Overview

Ведение журналов и трассировка

Введение

Руководства

Логирование

Мониторинг ресурсов

Введение

Руководства

Мониторинг ресурсов

Как сделать

Добавление панели мониторинга

Устранение неполадок

Панель мониторинга зависает на этапе загрузки

Введение

Основные возможности

Установка Label Studio

Быстрый старт

Введение

Основные возможности

Установка Dify

Введение

Как сделать

LLM Compressor с Alauda AI

Alauda Build оператора KubeRay

Введение

Установка

Как сделать

Руководство по CodeFlare SDK

Alauda Build of Kueue

Введение

Установка Kueue

Как сделать

Настройка RBAC

Настройка квот

Мониторинг ожидающих workloads

Использование когорт

Настройка справедливого распределения

Gang scheduling

Интеграция с Alauda DevOps Pipelines

Интеграция с InferenceService

Alauda Build of KServe

Введение

Установка KServe

Alauda Build of Llama Stack

Введение

Основные возможности

Установка Llama Stack

Быстрый старт

Alauda Build LeaderWorkerSet

Введение

Установка LeaderWorkerSet

Оценка RAG с помощью Ragas

Alauda Build of TrustyAI

Введение

Установка TrustyAI

Оценка LLM

AI Guardrails для безопасности LLM

NeMo Guardrails

TrustyAI Service (TAS)

Alauda Build of Envoy AI Gateway

Введение

Установка Envoy AI Gateway

Сборка Feast от Alauda

Введение

Установка Feast

Быстрый старт

Поддержка Alauda для Kubeflow

Введение

how_to

Использование Kubeflow Notebooks

Использование Kubeflow Tensorboards

Использование Kubeflow Volumes

Использование Kubeflow Model Registry

Использование Kubeflow Pipelines

Тонкая настройка с Kubeflow Trainer v2

Установка плагинов Kubeflow

Обновление Kubeflow Plugins

Справочник API

Введение

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]

InferenceService [serving.kserve.io/v1beta1]

Workspace Kind [kubeflow.org/v1beta1]

Workspace [kubeflow.org/v1beta1]

AmlNamespace [manage.aml.dev/v1alpha1]

AmlCluster [amlclusters.aml.dev/v1alpha1]

Изучение

Архитектура, версии и компоненты

Глоссарий

Как сделать

Предыдущая страницаХранилище модели Следующая страницаЗагрузка моделей с использованием Notebook