Установка
Содержание
Требования
Аппаратное обеспечение
- Не менее двух узлов с общим количеством 16 ядер и 32 ГБ памяти.
- Дополнительные ресурсы для выполнения runtime определяются фактическим масштабом бизнеса: 10 экземпляров LLM inference размера 7B одновременно требуют не менее 10 GPU и соответствующих CPU, памяти, дискового пространства и объектного хранилища.
- 200 ГБ свободного дискового пространства на каждом рабочем узле.
Программное обеспечение
- Версия CUDA Toolkit: 12.6 или выше.
INFO
Если ваш GPU не поддерживает CUDA 12.6, вы все равно можете использовать более ранние версии CUDA Toolkit. Однако после развертывания Alauda AI необходимо добавить пользовательский inference runtime, адаптированный для старых версий CUDA. Это можно сделать, обратившись к разделу Extend LLM Inference Runtimes, поскольку встроенный vLLM inference runtime поддерживает только CUDA 12.6 или более поздние версии.
Установка
Установка Alauda AI включает следующие основные задачи:
- Подтвердите и настройте ваш кластер для соответствия всем требованиям. См. Pre-installation Configuration.
- Установите Alauda AI Essentials. См. Install Alauda AI Essentials.
- Установите Alauda AI. См. Install Alauda AI.
После этого основные возможности Alauda AI будут успешно развернуты. Если вы хотите быстро ознакомиться с продуктом, пожалуйста, обратитесь к разделу Quick Start.