Архитектура#
На диаграмме ниже показана архитектура платформы Alauda AI.
#Содержание
Описание компонентовКомпоненты уровня Alauda Container PlatformКомпоненты уровня AI PlatformКомпоненты уровня GenAI Platform#Описание компонентов
#Компоненты уровня Alauda Container Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| GPU (Alauda Build of Nvidia GPU Device Plugin) | Предоставляет GPU-ресурсы для AI нагрузок | Open source | Apache Version 2.0 |
| HAMi (Alauda Build of Hami, Alauda Build of Hami-WebUI) | Разделение, совместное использование и планирование GPU-ресурсов | Open source | Apache Version 2.0 |
| Alauda Build of DCGM-Exporter | Мониторинг GPU | Open source | Apache Version 2.0 |
| Alauda Build of NPU Operator | Предоставляет NPU-ресурсы для AI нагрузок | Open source | Apache Version 2.0 |
| Alauda Build of Node Feature Discovery | Обнаружение аппаратных особенностей узлов кластера | Open source | Apache Version 2.0 |
| DRA (Alauda build of NVIDIA DRA Driver for GPUs) | Динамическое распределение ресурсов для совместного использования GPU | Open source | Apache Version 2.0 |
| Volcano (Alauda support for Volcano) | Планирование пакетных заданий для AI нагрузок | Open source | Apache Version 2.0 |
| Kueue (Alauda Build of Kueue) | Планирование заданий для AI нагрузок | Open source | Apache Version 2.0 |
| Milvus (Alauda Build of Milvus) | Векторная база данных для хранения и поиска эмбеддингов | Open source | Apache Version 2.0 |
| PGVector (Alauda support for PostgreSQL) | Расширение PostgreSQL для поиска по векторному сходству | Open source | The PostgreSQL License |
#Компоненты уровня AI Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| Model Catalog (Alauda AI/Alauda AI Essentials) | Централизованный репозиторий для управления AI-моделями и их метаданными | Proprietary | Commercial |
| Model Registry (Alauda support for Kubeflow Model Registry) | Отслеживание версий AI-моделей и метаданных для каждого namespace | Open source | Apache Version 2.0 |
| Datasets (Alauda AI/Alauda AI Essentials) | Централизованный репозиторий для управления наборами данных и их метаданными | Proprietary | Commercial |
| Labeling (Alauda support for Label Studio) | Инструмент разметки данных для создания размеченных наборов данных | Open source | Apache Version 2.0 |
| Feature Store (Alauda support for FeatureForm) | Централизованный репозиторий для управления и предоставления признаков машинного обучения | Open source | Mozilla Public License (MPL) |
| Workbench (Alauda AI Workbench) | Веб-интерфейс для управления AI-проектами, включая обучение моделей и вывод | Proprietary | Commercial |
| Training Jobs (Alauda support for Kubeflow Trainer v2) | Управление обучающими заданиями на базе Kubernetes | Open source | Apache Version 2.0 |
| Kubeflow Pipelines (Alauda support for Kubeflow Base & Alauda support for Kubeflow Pipeline) | Оркестрация рабочих процессов AI-пайплайнов | Open source | Apache Version 2.0 |
| Guardrails (Coming soon) | Фреймворк безопасности и управления AI | Open source | Apache Version 2.0 |
| Drift & Bias Detection (Alauda support for Evidently) | Мониторинг деградации производительности модели и смещения | Open source | Apache Version 2.0 |
| Experiment Tracking (Alauda support for MLFlow) | Отслеживание и сравнение экспериментов машинного обучения | Open source | Apache Version 2.0 |
#Компоненты уровня GenAI Platform
| Компонент | Описание | Тип | Лицензия |
|---|---|---|---|
| Kserve (Alauda AI/Alauda Build of KServe) | Kubernetes-нативный фреймворк для сервинга моделей | Open source | Apache Version 2.0 |
| vLLM (Alauda AI/Alauda Build of KServe) | Высокопроизводительный движок вывода моделей для больших языковых моделей | Open source | Apache Version 2.0 |
| llm-d (Alauda Build of KServe) | Распределённый движок вывода для больших языковых моделей | Open source | Apache Version 2.0 |
| Model as a Service (Alauda build of Envoy AI Gateway) | API-шлюз для предоставления AI-моделей как сервиса | Open source | Apache Version 2.0 |
| Fine-tuning | Инструменты, интегрированные с workbench, для дообучения больших языковых моделей, например transformers, accelerate, llama-factory и др. | Open source | - |
| Training (Alauda support for Kubeflow Trainer v2) | Kubernetes-нативное управление обучающими заданиями | Open source | Apache Version 2.0 |
| Model Quantization | Инструменты, интегрированные с workbench, для квантизации моделей, например llm-compressor и др. | Open source | - |
| Evaluation | Инструменты, интегрированные с workbench, для оценки производительности моделей, например lm-evaluation-harness и др. | Open source | - |
| Llama Stack (Alauda build of Llama Stack) | Фреймворк для создания приложений с большими языковыми моделями | Open source | MIT |
| Langchain | Инструменты, интегрированные с workbench, для создания LLM-приложений с использованием Langchain | Open source | MIT |
| Dify (Alauda support for Dify) | Платформа для создания AI-ассистентов и чатботов | Open source | Apache Version 2.0 (modified) |
| MCP Servers | Может интегрироваться с различными MCP серверами | - | - |
| Agent Tracing (Alauda support for MLflow) | Трассировка и мониторинг AI-агентов | Open source | Apache Version 2.0 |
| Agent Evaluation | Инструменты, интегрированные с workbench, для оценки AI-агентов, например RAGAS и др. | Open source | - |