#Введение

#Llama Stack

Llama Stack — это фреймворк для создания и запуска AI-агентов с инструментами. Он предоставляет серверную архитектуру, которая позволяет разработчикам создавать агентов, способных взаимодействовать с пользователями, обращаться к внешним инструментам и выполнять сложные задачи рассуждения.

Основные компоненты и концепции включают:

• Llama Stack Server: Центральный сервис, который размещает модели, агентов и среду выполнения инструментов. Может быть развернут на Kubernetes с помощью Llama Stack Operator (см. Install Llama Stack).
• Client SDK (llama-stack-client): Python-клиент для подключения к серверу, создания агентов, определения инструментов с помощью декоратора @client_tool и управления сессиями.
• Agents: Настраиваемые AI-агенты, использующие LLM-модели и способные вызывать инструменты (например, API погоды, пользовательские API) для ответа на запросы пользователей.
• Tools: Функции, доступные агенту (например, запрос погоды). Определяются с помощью @client_tool и передаются агенту при создании.
• Configuration: YAML-конфигурация стека определяет провайдеров (inference, agents, safety, vector_io, files), бекенды для хранения и персистентности, а также регистрацию моделей (например, DeepSeek через OpenAI-совместимый API).

Llama Stack поддерживает несколько провайдеров API, бекендов для хранения и персистентности, а также варианты дистрибуции (например, starter, postgres-demo, meta-reference-gpu), что делает его подходящим как для быстрых экспериментов, так и для продакшен-развертываний.

#Документация

Llama Stack предоставляет официальную документацию и ресурсы для углубленного использования:

#Официальная документация

• Основная документация: https://llamastack.github.io/docs
  • Использование, провайдеры API и основные концепции
• Основные концепции: https://llamastack.github.io/docs/concepts
  • Архитектура, стабильность API и управление ресурсами