#Model Repository

#Шаг 1: Клонирование или инициализация репозитория

Если у вас уже есть удалённый репозиторий, клонируйте его. В противном случае можно инициализировать новый Git-репозиторий локально.

# Способ 1: Клонировать существующий репозиторий
git clone <repository-url>
cd <repo-name>

# Способ 2: Инициализировать новый репозиторий
mkdir <your-repo-name>
cd <your-repo-name>
git init
git checkout -b main # Создать и переключиться на ветку main

#Шаг 2: Инициализация Git LFS

Инициализация Git LFS

git lfs install

#Шаг 3: Копирование файлов модели в директорию репозитория (опционально)

# Если у вас есть локальные файлы модели, которые нужно добавить в репозиторий, скопируйте их в текущую директорию.

cp -r /path/to/your/model/files/* .

#Шаг 4: Настройка отслеживания Git LFS (выберите один из двух вариантов)

1. Можно заранее создать файл .gitattributes для указания типов файлов, которые нужно отслеживать.

2. Либо использовать команду git lfs migrate для автоматической проверки и миграции больших файлов.

• Вариант 1: Активное отслеживание через .gitattributes (рекомендуется для новых проектов)

  # Этот метод явно указывает Git LFS, какие файлы отслеживать, задавая типы файлов в `.gitattributes`.
  # Полезно для новых проектов или когда точно известно, какие типы файлов нужно отслеживать.
  
  cat >.gitattributes <<EOL
  *.7z filter=lfs diff=lfs merge=lfs -text
  *.arrow filter=lfs diff=lfs merge=lfs -text
  *.bin filter=lfs diff=lfs merge=lfs -text
  *.bz2 filter=lfs diff=lfs merge=lfs -text
  *.ckpt filter=lfs diff=lfs merge=lfs -text
  *.ftz filter=lfs diff=lfs merge=lfs -text
  *.gz filter=lfs diff=lfs merge=lfs -text
  *.h5 filter=lfs diff=lfs merge=lfs -text
  *.joblib filter=lfs diff=lfs merge=lfs -text
  *.lfs.* filter=lfs diff=lfs merge=lfs -text
  *.mlmodel filter=lfs diff=lfs merge=lfs -text
  *.model filter=lfs diff=lfs merge=lfs -text
  *.msgpack filter=lfs diff=lfs merge=lfs -text
  *.npy filter=lfs diff=lfs merge=lfs -text
  *.npz filter=lfs diff=lfs merge=lfs -text
  *.onnx filter=lfs diff=lfs merge=lfs -text
  *.ot filter=lfs diff=lfs merge=lfs -text
  *.parquet filter=lfs diff=lfs merge=lfs -text
  *.pb filter=lfs diff=lfs merge=lfs -text
  *.pickle filter=lfs diff=lfs merge=lfs -text
  *.pkl filter=lfs diff=lfs merge=lfs -text
  *.pt filter=lfs diff=lfs merge=lfs -text
  *.pth filter=lfs diff=lfs merge=lfs -text
  *.rar filter=lfs diff=lfs merge=lfs -text
  *.safetensors filter=lfs diff=lfs merge=lfs -text
  saved_model/**/* filter=lfs diff=lfs merge=lfs -text
  *.tar.* filter=lfs diff=lfs merge=lfs -text
  *.tar filter=lfs diff=lfs merge=lfs -text
  *.tflite filter=lfs diff=lfs merge=lfs -text
  *.tgz filter=lfs diff=lfs merge=lfs -text
  *.wasm filter=lfs diff=lfs merge=lfs -text
  *.xz filter=lfs diff=lfs merge=lfs -text
  *.zip filter=lfs diff=lfs merge=lfs -text
  *.zst filter=lfs diff=lfs merge=lfs -text
  *tfevents* filter=lfs diff=lfs merge=lfs -text
  EOL
  
  # Также можно вручную добавить или изменить файл `.gitattributes`, например:
  git lfs track "*.h5" "*.bin" "*.pt" # Отслеживать файлы с указанными суффиксами
  TIP

  Если в вашем репозитории уже есть файлы, которые нужно отслеживать через Git LFS, рекомендуется после коммита изменений .gitattributes выполнить команду, чтобы Git заново обработал эти файлы и преобразовал их в LFS-поинтеры:

  git add --renormalize .

• Вариант 2: Использование git lfs migrate для проверки и миграции (рекомендуется для существующих репозиториев или исторических файлов)

  Команда git lfs migrate может найти и мигрировать большие файлы, уже существующие в истории Git (но не отслеживаемые LFS). Это переписывает историю — согласуйте с коллегами. При пуше переписанной истории используйте --force-with-lease.

  # Проверка файлов, которые нужно мигрировать
  ```bash
  # Проверка файлов, которые нужно мигрировать
  
  git status # Убедитесь, что рабочее дерево чисто
  git lfs migrate info
  
  # Миграция существующих больших файлов в LFS
  # Следующая команда мигрирует все файлы больше 100MB в Git LFS. Этот лимит 100MB основан на рекомендуемом GitHub ограничении размера файла для оптимальной производительности.
  
  git lfs migrate import --above 100MB
  TIP

  Для общих репозиториев: предупредите коллег перед миграцией, а при пуше переписанной истории используйте: git push --force-with-lease

#Шаг 5: Добавление, коммит и пуш

После настройки LFS добавьте файлы в индекс, сделайте коммит и отправьте изменения в удалённый репозиторий.

# Добавить все изменения, включая файл `.gitattributes` (если создан) и файлы модели.
git add .
git add --renormalize . # Убедиться, что все файлы, соответствующие правилам LFS, правильно помечены.

# Проверить список файлов, отслеживаемых LFS (опционально)
git lfs ls-files -n

# Сделать коммит
# Рекомендуется настроить имя пользователя и email, либо убедиться, что они настроены глобально.
# git config --global user.name "Your Name"
# git config --global user.email "your.email@example.com"
git commit -am "Add LLM model files with Git LFS"
git push -u origin main