Установка TrustyAI
В этом документе описывается, как установить оператор TrustyAI.
Загрузка оператора
Скачайте файл установки оператора TrustyAI (например, trustyai-service-operator.alpha.ALL.xxxx.tgz).
Используйте команду violet для публикации в репозиторий платформы:
Установка оператора
-
Перейдите в представление
Administratorв Alauda Container Platform. -
В левой навигации выберите
Marketplace/Operator Hub. -
В правой панели найдите
Alauda Build of TrustyAIи нажмитеInstall. -
Оставьте все параметры по умолчанию и завершите установку.
Следующие шаги
После установки оператора пользователи могут использовать CRD, такие как TrustyAIService, LMEvalJob, GuardrailsOrchestrator и NemoGuardrails для развертывания мониторинга вывода (TrustyAI Service), запуска задач оценки моделей и управления оркестрацией AI guardrails (как FMS Guardrails, так и NeMo Guardrails).
Подробности смотрите в разделах TrustyAI Service (TAS), Evaluate LLM, AI Guardrails for LLM safety и NeMo Guardrails.