Alauda AI
简体中文

Configure External Access for Inference Services

目录

介绍

本文档提供了配置推理服务外部访问的分步指南，包括查看外部访问地址、创建域名、设置负载均衡器以及验证配置。

步骤

1. 查看推理服务的外部访问地址

您可以：

  1. 进入服务详情页面，从 访问方式 卡片中复制地址，或者
  2. 在 YAML 卡片的 status.url 字段中查看地址。

2. 创建域名

在管理员控制台，进入 网络 > 域名，然后点击 创建域名。

  • 在 域名 字段中，输入推理服务的外部访问地址。
  • 在 分配到（集群） 中，选择您的服务所在的集群。
  • 在 分配项目 中，选择推理服务所在的项目。

3. 创建负载均衡器

（一个负载均衡器可以被多个项目共享；仅在必要时创建新的负载均衡器。）

在管理员控制台，进入 网络 > 负载均衡器，然后点击 创建负载均衡器。详细帮助文档请参考 。

4. 配置负载均衡器

在 Alauda Container Platform 控制台，进入 网络 > 负载均衡器，点击刚创建的负载均衡器名称进入其配置页面。

4.1 添加监听前端资源

添加监听端口：HTTP 协议的端口 80，以及 HTTPS 协议的端口 443。您也可以根据需要添加更多端口。

4.2 添加转发规则资源

  • 域名：选择上一步创建的域名。
  • 服务组（Kubernetes Service）：选择 istio-system 命名空间下的 knative-ingressgateway，并选择端口 80。

更多详细参数配置，请参考 。

5. 验证通过外部地址访问推理服务

使用以下 curl 命令验证推理服务是否可以通过外部访问。请务必将命令中的占位符替换为您实际的负载均衡器 IP 地址、端口和推理服务地址。

# HTTP 访问
curl -v --resolve "your-inference-service-domain.com:your-port:your-load-balancer-ip" \
    http://your-inference-service-domain.com/v1/models

# HTTPS 访问（如果有有效证书，可去掉 `-k` 参数）
curl -vk --resolve "your-inference-service-domain.com:443:your-load-balancer-ip" \
    https://your-inference-service-domain.com/v1/models

命令中各部分含义及需替换内容说明：

  • your-inference-service-domain.com：您为推理服务创建的域名（例如 qwen2-0b5-kubeflow-admin-cpaas-io.my-company.com）。
  • your-port：负载均衡器监听 HTTP 流量的端口（通常为 80）。
  • your-load-balancer-ip：负载均衡器的实际 IP 地址（例如 192.168.137.21）。

如果请求成功返回模型列表，则说明配置完成！如果失败，请检查负载均衡器设置或查看推理服务日志以定位问题。