#Configure External Access for Inference Services

#1. Просмотр адреса внешнего доступа сервиса инференса

Вы можете:

1. Перейти на страницу деталей сервиса и скопировать адрес из карточки Access Method, или
2. Просмотреть адрес в карточке YAML в поле status.url.

#2. Создание домена

В консоли администратора перейдите в Network > Domains, затем нажмите Create Domain.

• В поле Domain введите доменное имя вашего сервиса инференса без протокола (например, qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com).
• В поле Allocated To (Cluster) выберите кластер, в котором расположен ваш сервис.
• В поле Allocated Projects выберите проект, в котором находится ваш сервис инференса.

#3. Создание балансировщика нагрузки

(Один балансировщик нагрузки может использоваться несколькими проектами; создавайте новый только при необходимости.)

В консоли администратора перейдите в Network > Load Balancers, затем нажмите Create Load Balancer. Для подробной справочной документации обратитесь к .

#4. Настройка балансировщика нагрузки

В консоли Alauda Container Platform перейдите в Network > Load Balancers, затем нажмите на имя только что созданного балансировщика нагрузки, чтобы открыть страницу его конфигурации.

#4.1 Настройка портов

Добавьте порты прослушивания для вашего сервиса. При необходимости можно добавить несколько портов.

Шаг 1: Добавить порт

1. В разделе Port Management нажмите кнопку Add Port.
2. На странице конфигурации выберите протокол (HTTP или HTTPS).
3. Введите соответствующий номер порта. Для HTTP стандартный порт — 80. Для HTTPS — 443.

Шаг 2: Настройка HTTPS (если применимо)
Если выбран протокол HTTPS, необходимо выбрать сертификат по умолчанию.

1. Убедитесь, что вы переключились в пространство имён istio-system. Это важно для следующего шага.
2. Выберите knative-serving-cert в качестве Default Certificate.

#4.2 Настройка правил

Настройте правила переадресации для добавленных портов.

Шаг 1: Добавить правило

1. В разделе Rules нажмите кнопку Add Rule.
2. На странице конфигурации нажмите кнопку Add Rule Indicator, чтобы добавить первое правило.
3. В поле Type выберите Domains.
4. В выпадающем списке выберите доменное имя, созданное для вашего сервиса инференса, например: qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com.

Шаг 2: Настройка группы сервисов

1. Найдите область конфигурации Service Group.
2. Убедитесь, что Namespace установлен в istio-system. Если нет, сначала переключите пространство имён вашего проекта на istio-system.
3. В разделе Services выберите knative-ingressgateway из выпадающего списка.
4. Выберите порт 80.

Примечание: Процесс настройки правил для протокола HTTPS (порт 443) аналогичен описанному выше.

Для более подробной настройки параметров вы можете обратиться к .

#5. Проверка доступа к сервису инференса по внешнему адресу

Чтобы проверить, доступен ли ваш сервис инференса извне, используйте команду curl ниже. Не забудьте заменить заполнители на фактический IP-адрес балансировщика нагрузки, порт и адрес сервиса инференса.

# Для HTTP
curl -v --resolve "your-inference-service-domain.com:your-port:your-load-balancer-ip" \
    http://your-inference-service-domain.com/v1/models

# Для HTTPS (пропустите `-k`, если у вас есть действительный сертификат)
curl -vk --resolve "your-inference-service-domain.com:443:your-load-balancer-ip" \
    https://your-inference-service-domain.com/v1/models

Вот что означает каждая часть команды и что нужно заменить:

• your-inference-service-domain.com: доменное имя, созданное для вашего сервиса инференса (например, qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com).
• your-port: порт, на котором ваш балансировщик нагрузки слушает HTTP-трафик (обычно 80).
• your-load-balancer-ip: фактический IP-адрес вашего балансировщика нагрузки (например, 192.168.137.21).

Если запрос успешно возвращает список моделей, ваша конфигурация завершена! Если нет, проверьте настройки балансировщика нагрузки или просмотрите логи сервиса инференса для выявления проблемы.