Alauda AI
  • Русский

    • Установка Llama Stack

    В этом документе описывается, как установить и развернуть Llama Stack Server в Kubernetes с помощью Llama Stack Operator.

    Содержание

    Загрузка оператораУстановка оператораРазвертывание Llama Stack Server

    Загрузка оператора

    Скачайте файл установки Llama Stack Operator (например, llama-stack-operator.alpha.ALL.xxxx.tgz).

    Используйте команду violet для публикации в репозиторий платформы:

    violet push --platform-address=platform-access-address --platform-username=platform-admin --platform-password=platform-admin-password llama-stack-operator.alpha.ALL.xxxx.tgz

    Установка оператора

    1. Перейдите в представление Administrator в Alauda Container Platform.

    2. В левой навигации выберите Marketplace / Operator Hub.

    3. В правой панели найдите Alauda build of Llama Stack и нажмите Install.

    4. Оставьте все параметры по умолчанию и завершите установку.

    Развертывание Llama Stack Server

    После установки оператора разверните Llama Stack Server, создав кастомный ресурс LlamaStackDistribution:

    Примечание: Подготовьте следующее заранее, иначе дистрибутив может не перейти в состояние готовности:

    • Secret: Создайте Secret (например, deepseek-api) в том же namespace с токеном API LLM. Пример: kubectl create secret generic deepseek-api -n default --from-literal=token=<LLM_API_KEY>.
    • Storage Class: Убедитесь, что в кластере существует Storage Class с именем default; иначе PVC не сможет привязаться, и ресурс не станет готовым.
    apiVersion: llamastack.io/v1alpha1
kind: LlamaStackDistribution
metadata:
  annotations:
    cpaas.io/display-name: ""
  name: demo
  namespace: default
spec:
  network:
    exposeRoute: false                             # Нужно ли открывать маршрут извне
  replicas: 1                                      # Количество реплик сервера
  server:
    containerSpec:
      env:
        - name: VLLM_URL
          value: "https://api.deepseek.com/v1"     # URL провайдера API LLM
        - name: VLLM_MAX_TOKENS
          value: "8192"                            # Максимальное количество выходных токенов
        - name: VLLM_API_TOKEN                     # Загрузка токена API LLM из секрета
          valueFrom:
            secretKeyRef:                          # Создайте этот Secret заранее в том же namespace, например kubectl create secret generic deepseek-api -n default --from-literal=token=<LLM_API_KEY>
              key: token
              name: deepseek-api
      name: llama-stack
      port: 8321
    distribution:
      name: starter                                # Имя дистрибутива (варианты: starter, postgres-demo, meta-reference-gpu)
    storage:
      mountPath: /home/lls/.lls
      size: 20Gi                                   # Требуется предварительно настроенный Storage Class "default"

    После развертывания Llama Stack Server будет доступен внутри кластера. URL доступа отображается в status.serviceURL, например:

    status:
  phase: Ready
  serviceURL: http://demo-service.default.svc.cluster.local:8321