Архитектура#
Ниже приведена диаграмма, иллюстрирующая архитектуру платформы Alauda AI.
#Содержание
Описание компонентовКомпоненты уровня Alauda Container PlatformКомпоненты уровня AI PlatformКомпоненты уровня GenAI Platform#Описание компонентов
#Компоненты уровня Alauda Container Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| GPU (Alauda Build of Nvidia GPU Device Plugin) | Обеспечивает ресурсы GPU для AI нагрузок | Open source | Apache Version 2.0 |
| HAMi (Alauda Build of Hami, Alauda Build of Hami-WebUI) | Разделение, совместное использование и планирование ресурсов GPU | Open source | Apache Version 2.0 |
| Alauda Build of DCGM-Exporter | Мониторинг GPU | Open source | Apache Version 2.0 |
| Alauda Build of NPU Operator | Обеспечивает ресурсы NPU для AI нагрузок | Open source | Apache Version 2.0 |
| Alauda Build of Node Feature Discovery | Обнаружение аппаратных особенностей узлов кластера | Open source | Apache Version 2.0 |
| DRA (Alauda build of NVIDIA DRA Driver for GPUs) | Динамическое распределение ресурсов для совместного использования GPU | Open source | Apache Version 2.0 |
| Volcano (Alauda support for Volcano) | Планирование пакетных заданий для AI нагрузок | Open source | Apache Version 2.0 |
| Kueue (Alauda Build of Kueue) | Планирование заданий для AI нагрузок | Open source | Apache Version 2.0 |
| Milvus (Alauda Build of Milvus) | Векторная база данных для хранения и поиска эмбеддингов | Open source | Apache Version 2.0 |
| PGVector (Alauda support for PostgreSQL) | Расширение PostgreSQL для поиска по векторному сходству | Open source | The PostgreSQL License |
#Компоненты уровня AI Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| Model Catalog (Alauda AI/Alauda AI Essentials) | Централизованное хранилище для управления AI моделями и их метаданными | Proprietary | Commercial |
| Model Registry (Alauda support for Kubeflow Model Registry) | Отслеживание версий AI моделей и метаданных для каждого namespace | Open source | Apache Version 2.0 |
| Datasets (Alauda AI/Alauda AI Essentials) | Централизованное хранилище для управления наборами данных и их метаданными | Proprietary | Commercial |
| Labeling (Alauda support for Label Studio) | Инструмент разметки данных для создания размеченных наборов данных | Open source | Apache Version 2.0 |
| Feature Store (Alauda support for FeatureForm) | Централизованное хранилище для управления и предоставления признаков машинного обучения | Open source | Mozilla Public License (MPL) |
| Workbench (Alauda AI Workbench) | Веб-интерфейс для управления AI проектами, включая обучение моделей и вывод | Proprietary | Commercial |
| Training Jobs (Alauda support for Kubeflow Trainer v2) | Управление обучающими заданиями на базе Kubernetes | Open source | Apache Version 2.0 |
| Kubeflow Pipelines (Alauda support for Kubeflow Base & Alauda support for Kubeflow Pipeline) | Оркестрация рабочих процессов AI пайплайнов | Open source | Apache Version 2.0 |
| Guardrails (Coming soon) | Фреймворк безопасности и управления AI | Open source | Apache Version 2.0 |
| Drift & Bias Detection (Alauda support for Evidently) | Мониторинг деградации производительности моделей и смещения | Open source | Apache Version 2.0 |
| Experiment Tracking (Alauda support for MLFlow) | Отслеживание и сравнение экспериментов машинного обучения | Open source | Apache Version 2.0 |
#Компоненты уровня GenAI Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| Kserve (Alauda AI/Alauda Build of KServe) | Kubernetes-native фреймворк для сервинга моделей | Open source | Apache Version 2.0 |
| vLLM (Alauda AI/Alauda Build of KServe) | Высокопроизводительный движок вывода моделей для больших языковых моделей | Open source | Apache Version 2.0 |
| llm-d (Alauda Build of KServe) | Распределённый движок вывода для больших языковых моделей | Open source | Apache Version 2.0 |
| Model as a Service (Alauda build of Envoy AI Gateway) | API-шлюз для предоставления AI моделей как сервиса | Open source | Apache Version 2.0 |
| Fine-tuning | Инструменты, интегрированные с workbench для дообучения больших языковых моделей, например transformers, accelerate, llama-factory и др. | Open source | - |
| Training (Alauda support for Kubeflow Trainer v2) | Управление обучающими заданиями на базе Kubernetes | Open source | Apache Version 2.0 |
| Model Quantization | Инструменты, интегрированные с workbench для квантизации моделей, например llm-compressor и др. | Open source | - |
| Evaluation | Инструменты, интегрированные с workbench для оценки производительности моделей, например lm-evaluation-harness и др. | Open source | - |
| Llama Stack (Alauda build of Llama Stack) | Фреймворк для создания приложений с большими языковыми моделями | Open source | MIT |
| Langchain | Инструменты, интегрированные с workbench для создания LLM приложений с использованием Langchain | Open source | MIT |
| Dify (Alauda support for Dify) | Платформа для создания AI ассистентов и чат-ботов | Open source | Apache Version 2.0 (modified) |
| MCP Servers | Может интегрироваться с различными MCP серверами | - | - |
| Agent Tracing (Alauda support for MLflow) | Трассировка и мониторинг AI агентов | Open source | Apache Version 2.0 |
| Agent Evaluation | Инструменты, интегрированные с workbench для оценки AI агентов, например RAGAS и др. | Open source | - |