#Репозиторий моделей

Основное определение функции репозитория моделей — предоставить систему хранения моделей машинного обучения с управлением версиями на базе Git, позволяющую командам управлять файлами моделей, отслеживать версии и сотрудничать между тенантами. Используется Git LFS для хранения больших файлов и интеграция с MLOps-воркфлоу для объединения разработки и развертывания моделей.

#Преимущества

Версионный контроль на базе Git

• Отслеживание изменений моделей через коммиты/ветки/теги, обеспечивая воспроизводимость.

Высокоскоростные передачи

• Загрузки через CLI/Notebook используют пропускную способность внутренней сети.

Совместное использование между тенантами

• Общие модели доступны в разных пространствах имён (например, public как маркетплейс моделей).

Бесшовная интеграция

• Прямое развертывание моделей из репозитория в сервисы инференса.

#Основные функции

Создание и удаление репозитория моделей

• Создание пустого репозитория на базе Git с метаданными (название/описание/видимость).
• Удаление моделей после проверки зависимостей (например, отсутствие активных сервисов инференса).

Управление файлами

1. CLI/Git LFS
   • Используйте git lfs track для больших файлов (например, *.bin, *.h5).
   • Пример:

     git clone <model_repo_url>
     git lfs install
     cp ~/local_model/* . && git add . && git commit -m "v1.0" && git push

Управление версиями

1. Ветвление
   • Поддержка параллельных версий (например, ветки experimental и main).
2. Тегирование
   • Пометка релизов через UI/CLI (например, git tag -a v2.0 -m "Stable release").
3. Синхронизация метаданных
   • Автоматическое чтение README.md из ветки по умолчанию для описания модели.

Совместное использование между тенантами

1. Общие модели
   • Установка видимости "Shared" при создании для доступа между тенантами.
2. Публичный маркетплейс
   • Использование пространства имён public для публикации open-source моделей (например, конверсии HuggingFace).

Интеграция с MLOps

1. Готовность к развертыванию
   • Запуск сервиса инференса в один клик из тегированных версий модели.
2. Интеграция с Notebook
   • Прямое получение моделей в AML Notebooks для тестирования:

     !git clone https://aml-public/resnet50.git

#Технические заметки

1. Требование Git LFS
   • Необходимо включать .gitattributes для указания файлов, отслеживаемых LFS (например, *.zip filter=lfs diff=lfs merge=lfs).
2. Правила ветки по умолчанию
   • Некорректные метаданные в README.md могут блокировать развертывание инференса.

#Создание модели и загрузка файлов модели

Подробные шаги по загрузке файлов модели в репозиторий моделей смотрите в разделе Upload Models Using Notebook.