安装

硬件要求

  • 至少需要两个节点,总共16个核心和32 GB内存。
  • 运行时服务的额外资源由实际业务规模决定:同时运行10个7B规模的LLM推理实例,至少需要10个GPU,以及相应的CPU、内存、磁盘存储和对象存储。
  • 每个工作节点需要200G的可用磁盘空间。

先决条件

在您的ACP集群上安装Alauda AI 之前,您必须满足以下要求:

  • 集群管理员访问权限到您的ACP集群
  • MySQL 5.7(或更高版本)
  • 使用Istio 1.20(或更高版本)的服务网格
  • Gitlab(自托管)v15或更高版本