Alauda AI
  • Русский

    • Configure External Access for Inference Services

    Содержание

    IntroductionSteps

    Introduction

    В этом документе приведено пошаговое руководство по настройке внешнего доступа к вашим сервисам инференса, включая проверку адресов внешнего доступа, создание доменов, настройку балансировщиков нагрузки и проверку конфигурации.

    Steps

    1. Просмотр адреса внешнего доступа сервиса инференса

    Вы можете:

    1. Перейти на страницу деталей сервиса и скопировать адрес из карточки Access Method, или
    2. Просмотреть адрес в карточке YAML в поле status.url.

    2. Создание домена

    В консоли администратора перейдите в Network > Domains, затем нажмите Create Domain.

    • В поле Domain введите доменное имя вашего сервиса инференса без протокола (например, qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com).
    • В поле Allocated To (Cluster) выберите кластер, в котором расположен ваш сервис.
    • В поле Allocated Projects выберите проект, в котором находится ваш сервис инференса.

    3. Создание балансировщика нагрузки

    (Один балансировщик нагрузки может использоваться несколькими проектами; создавайте новый только при необходимости.)

    В консоли администратора перейдите в Network > Load Balancers, затем нажмите Create Load Balancer. Для подробной справочной документации обратитесь к Configure Load Balancer.

    4. Настройка балансировщика нагрузки

    В консоли Alauda Container Platform перейдите в Network > Load Balancers, затем нажмите на имя только что созданного балансировщика нагрузки, чтобы открыть страницу его конфигурации.

    4.1 Настройка портов

    Добавьте порты прослушивания для вашего сервиса. При необходимости можно добавить несколько портов.

    Шаг 1: Добавить порт

    1. В разделе Port Management нажмите кнопку Add Port.
    2. На странице конфигурации выберите протокол (HTTP или HTTPS).
    3. Введите соответствующий номер порта. Для HTTP стандартный порт — 80. Для HTTPS — 443.

    Шаг 2: Настройка HTTPS (если применимо)
    Если выбран протокол HTTPS, необходимо выбрать сертификат по умолчанию.

    1. Убедитесь, что вы переключились в пространство имён istio-system. Это важно для следующего шага.
    2. Выберите knative-serving-cert в качестве Default Certificate.

    4.2 Настройка правил

    Настройте правила переадресации для добавленных портов.

    Шаг 1: Добавить правило

    1. В разделе Rules нажмите кнопку Add Rule.
    2. На странице конфигурации нажмите кнопку Add Rule Indicator, чтобы добавить первое правило.
    3. В поле Type выберите Domains.
    4. В выпадающем списке выберите доменное имя, созданное для вашего сервиса инференса, например: qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com.

    Шаг 2: Настройка группы сервисов

    1. Найдите область конфигурации Service Group.
    2. Убедитесь, что Namespace установлен в istio-system. Если нет, сначала переключите пространство имён вашего проекта на istio-system.
    3. В разделе Services выберите knative-ingressgateway из выпадающего списка.
    4. Выберите порт 80.

    Примечание: Процесс настройки правил для протокола HTTPS (порт 443) аналогичен описанному выше.

    Для более подробной настройки параметров вы можете обратиться к Configure Load Balancer.

    5. Проверка доступа к сервису инференса по внешнему адресу

    Чтобы проверить, доступен ли ваш сервис инференса извне, используйте команду curl ниже. Не забудьте заменить заполнители на фактический IP-адрес балансировщика нагрузки, порт и адрес сервиса инференса.

    # Для HTTP
curl -v --resolve "your-inference-service-domain.com:your-port:your-load-balancer-ip" \
    http://your-inference-service-domain.com/v1/models

# Для HTTPS (пропустите `-k`, если у вас есть действительный сертификат)
curl -vk --resolve "your-inference-service-domain.com:443:your-load-balancer-ip" \
    https://your-inference-service-domain.com/v1/models

    Вот что означает каждая часть команды и что нужно заменить:

    • your-inference-service-domain.com: доменное имя, созданное для вашего сервиса инференса (например, qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com).
    • your-port: порт, на котором ваш балансировщик нагрузки слушает HTTP-трафик (обычно 80).
    • your-load-balancer-ip: фактический IP-адрес вашего балансировщика нагрузки (например, 192.168.137.21).

    Если запрос успешно возвращает список моделей, ваша конфигурация завершена! Если нет, проверьте настройки балансировщика нагрузки или просмотрите логи сервиса инференса для выявления проблемы.