Русский

English
Русский

Alauda AI
LLM Compressor

Навигация

Архитектура

Введение

Быстрый старт

Примечания к выпуску

Установка

Предварительная настройка

Установка Workbench

Установка Alauda AI Essentials

Установка Alauda AI

Установка Alauda Build of KServe

Конфигурация меню Tools

Kubeflow Chart Plugins

Обновление

Обновление Alauda AI

Удаление

Удаление

Поддержка Alauda для Kubeflow

Введение

how_to

Использование Kubeflow Notebooks

Использование Kubeflow Tensorboards

Использование томов Kubeflow

Использование Kubeflow Model Registry

Использование Kubeflow Pipelines

Управление инфраструктурой

Управление устройствами

О Alauda Build of Hami

О плагине устройства NVIDIA GPU от Alauda Build

Мультиарендность

Руководства

Управление пространствами имён

Рабочее пространство

Введение

Обновление

Как сделать

Создание Workbench

Тонкая настройка LLM с использованием Workbench

Быстрый старт с Kubeflow Trainer

Развертывание модели и вывод

Введение

Сервис вывода

Введение

Руководства

Сервис инференса

Как сделать

Create Inference Service using CLI

Extend Inference Runtimes

Использование KServe Modelcar для хранения моделей

Configure External Access for Inference Services

Configure Scaling for Inference Services

Scheduling Inference Services based on the CUDA version

Set Up Autoscaling for Inference Services with KEDA

Устранение неполадок

Проблемы с таймаутами сервиса инференса при использовании MLServer Runtime

Служба инференса не переходит в состояние Running

Управление моделями

Введение

Руководства

Репозиторий моделей

Хранение модели

Как сделать

Загрузка моделей с использованием Notebook

Мониторинг и операции

Введение

Features Overview

Ведение журналов и трассировка

Введение

Руководства

Логирование

Мониторинг ресурсов

Введение

Руководства

Мониторинг ресурсов

Как сделать

Добавление панели мониторинга

Устранение неполадок

Панель мониторинга зависает на этапе загрузки

Введение

Основные возможности

Установка Label Studio

Быстрый старт

Введение

Основные возможности

Установка Dify

Alauda Build of Kueue

Введение

Установка

Как сделать

Настройка RBAC

Настройка квот

Мониторинг ожидающих workloads

Использование когорт

Настройка справедливого распределения

Gang scheduling

Интеграция с Alauda DevOps Pipelines

Интеграция с InferenceService

Введение

Как сделать

LLM Compressor с Alauda AI

Alauda Build of Llama Stack

Введение

Основные возможности

Установка Llama Stack

Быстрый старт

Alauda Build LeaderWorkerSet

Установка

Alauda Build of TrustyAI

Введение

Установка TrustyAI

Оценка LLM

AI Guardrails для безопасности LLM

Справочник API

Введение

Kubernetes APIs

Inference Service APIs

ClusterServingRuntime [serving.kserve.io/v1alpha1]

InferenceService [serving.kserve.io/v1beta1]

Workspace Kind [kubeflow.org/v1beta1]

Workspace [kubeflow.org/v1beta1]

AmlNamespace [manage.aml.dev/v1alpha1]

AmlCluster [amlclusters.aml.dev/v1alpha1]

Глоссарий

LLM Compressor

Введение

Как сделать

Предыдущая страницаИнтеграция с InferenceService Следующая страницаВведение