За пределами LoRA: Сможете ли вы превзойти самую популярную технику тонкой настройки?

Когда вы планируете точно настроить модель с эффективным использованием параметров, подумайте не только о LoRA. Если вы хотите точно настроить открытую модель на своих собственных данных, вы, вероятно, заинтересованы в так называемой точной настройке с эффективным использованием параметров, сокращенно PEFT. Этот термин описывает методы, которые значительно уменьшают требования к памяти для точной настройки модели. Хотя таких методик существуют десятки, почти каждый выбирает одну под названием «LoRA». В этом сообщении блога мы исследуем, действительно ли LoRA является лучшим выбором, какие инструменты доступны для принятия обоснованного решения и какую выгоду вы можете получить, расширив свой кругозор за пределы LoRA. Что такое PEFT и когда он вам нужен? Существует бесчисленное множество открытых моделей, но зачастую они недостаточно хороши для вашего случая использования. Подсказки могут помочь, но обычно этого недостаточно. Вместо обучения новой модели с нуля следует рассмотреть возможность тонкой настройки существующей. Однако точная настройка требует большого количества памяти: обычно вам нужно достаточно памяти, чтобы разместить всю модель несколько раз. Квантование уменьшает объем памяти модели, но квантованные модели не могут быть точно настроены напрямую. Таким образом, появился набор методов, позволяющих сократить объем памяти, необходимый для точной настройки, который называется «тонкая настройка с эффективным использованием параметров» или PEFT. С помощью PEFT вы можете точно настроить модель, используя лишь часть этой памяти, и даже точно настроить квантованные модели. Он предлагает и другие преимущества, такие как небольшие размеры контрольных точек, большую устойчивость к катастрофическому забвению и возможность выполнять несколько точных настроек одной и той же базовой модели. В Hugging Face мы разрабатываем библиотеку PEFT, которая реализует множество техник PEFT за унифицированным API и хорошо интегрируется с экосистемой, например Transformers и Diffusers. Он также поддерживает несколько методов квантования, что обеспечивает дополнительные возможности точной настройки с эффективным использованием параметров. PEFT обеспечивает хорошую отправную точку, независимо от того, хотите ли вы уточнить свои собственные данные или исследуете новый метод PEFT. LoRA: королева техник тонкой настройки 👑 Один из методов точной настройки с эффективными параметрами, который появился рано и оказался весьма эффективным, называется «Адаптация низкого ранга», или сокращенно «LoRA». Он работает путем добавления нескольких параметров поверх базовой модели, фиксации весов базовой модели и обучения только этих нескольких параметров. Среди всех методов PEFT LoRA, безусловно, является самым популярным. Вот несколько оценок: Хотя эти оценки не являются точными, тем не менее, можно сделать вывод, что LoRA почти наверняка является наиболее распространенным методом PEFT. 💡 Где захостить и как запустить: рассчитать точные требования к объёму VRAM под разные типы квантования этой модели (4-bit Q4, FP8, FP16), оценить скорость генерации токенов в секунду и подобрать совместимый сервер с GPU можно на ServerSales в интерактивном подборщике AI-моделей или каталоге GPU-серверов.