#Введение

#TrustyAI

Alauda Build of TrustyAI основан на Kubernetes-операторе TrustyAI.
Оператор упрощает развертывание и управление компонентами TrustyAI в Kubernetes, включая объяснимость моделей, мониторинг справедливости, оценку LLM и AI guardrails.

Основные компоненты и возможности включают:

• TrustyAI Service (TAS): сервис, который разворачивается вместе с моделями KServe и собирает данные инференса. Он обеспечивает объяснимость моделей, мониторинг справедливости и отслеживание дрейфа. См. TrustyAI Service (TAS) для информации о развертывании, сборе данных и метриках.
• LM-Eval: архитектура на основе заданий для развертывания и управления оценками LLM, основанная на lm-evaluation-harness от EleutherAI. Оператор предоставляет CRD LMEvalJob для запуска и управления задачами оценки. См. Evaluate LLM для подробностей.
• AI Guardrails (FMS-Guardrails): модульный фреймворк для организации guardrails для LLM. Оператор предоставляет CRD GuardrailsOrchestrator для оркестрации политик и компонентов guardrails. См. AI Guardrails for LLM safety для подробностей.
• NeMo Guardrails: интеграция с NVIDIA NeMo Guardrails для определения программируемых рельсов фильтрации ввода/вывода с использованием YAML и Colang. Оператор предоставляет CRD NemoGuardrails для развертывания NeMo Guardrails как сервиса в кластере. См. NeMo Guardrails для подробностей.

Для установки на платформе см. Install TrustyAI.

Для использования LMEvalJob и GuardrailsOrchestrator после установки см. разделы, указанные выше.

#Документация

Документация TrustyAI upstream и репозиторий оператора:

• TrustyAI Operator (upstream): https://github.com/trustyai-explainability/trustyai-service-operator — обзор, установка и использование Kubernetes-оператора.
• TrustyAI Documentation: https://trustyai.org/ — документация проекта TrustyAI.