#Введение

#Предисловие

LLM Compressor, являющийся частью проекта vLLM для эффективного обслуживания LLM, объединяет последние исследования в области сжатия моделей в единую библиотеку с открытым исходным кодом, позволяющую с минимальными усилиями создавать эффективные сжатые модели.

Фреймворк позволяет пользователям применять новейшие методы сжатия моделей для повышения эффективности, масштабируемости и производительности генеративных AI (gen AI) моделей при сохранении точности. Благодаря нативной поддержке Hugging Face и vLLM, сжатые модели можно интегрировать в конвейеры развертывания, обеспечивая более быструю и экономичную работу на масштабах.

LLM Compressor позволяет выполнять оптимизацию моделей с помощью таких техник, как квантизация, разреженность и сжатие, чтобы уменьшить использование памяти, размер модели и улучшить вывод без потери точности ответов модели. LLM Compressor поддерживает следующие методы сжатия:

• Квантизация: преобразует веса и активации модели в форматы с меньшим числом бит, например int8, снижая использование памяти.
• Разреженность: обнуляет часть весов модели, часто по фиксированным шаблонам, что позволяет более эффективно выполнять вычисления.
• Сжатие: уменьшает размер сохранённого файла модели, желательно с минимальным влиянием на производительность.

Используйте эти методы совместно для более эффективного развертывания моделей на оборудовании с ограниченными ресурсами.

#LLM Compressor поддерживает широкий спектр техник сжатия:

• Квантизация только весов (W4A16) сжимает веса модели до 4-битной точности, что полезно для AI-приложений с ограниченными аппаратными ресурсами или высокой чувствительностью к задержкам.
• Квантизация весов и активаций (W8A8) сжимает как веса, так и активации до 8-битной точности, ориентируясь на общие серверные сценарии для целочисленных и с плавающей точкой форматов.

#LLM Compressor поддерживает несколько алгоритмов сжатия:

• AWQ: квантизация только весов INT4
• GPTQ: квантизация только весов INT4
• FP8: динамическая квантизация на уровне токена
• SparseGPT: разреженность после обучения
• SmoothQuant: квантизация активаций

Для получения дополнительной информации о алгоритмах и форматах сжатия, пожалуйста, обратитесь к документации и примерам в репозитории llmcompressor. Каждый из этих методов сжатия вычисляет оптимальные масштабы и нулевые точки для весов и активаций. Оптимизированные масштабы могут задаваться для всего тензора, канала, группы или токена. В итоге получается сжатая модель, сохранённая со всеми применёнными параметрами квантизации.