Сжатие LLM через физику спиновых стекол: как удаление блоков на основе задачи Изинга обходит конкурентов на 23% в MMLU

Исследователи предложили принципиально новый подход к глубокой компрессии языковых моделей, переведя задачу выбора удаляемых трансформерных блоков в плоскость статистической физики. Вместо независимой оценки каждого слоя (mean-field подход), метод рассматривает взаимодействие блоков как систему с все-ко-всеми связями, моделируя ее через матрицу Гессе как задачу условной бинарной оптимизации (CBO) в виде спинового стекла Изинга. Главные технологические особенности метода: - Учет межуровневых связей: Диагональ матрицы Гессе отвечает за важность отдельного блока, а недиагональные элементы — за парные взаимодействия (coupling), что позволяет корректно удалять до половины слоев модели без каскадного падения качества. - Отказ от дорогого бенчмаркинга: Энергия спиновой системы выступает дешевым и точным прокси-показателем будущей производительности. Расчет матрицы Гессе делается один раз на калибровочном датасете, после чего перебор миллиардов конфигураций заменяется быстрым вычислением энергии. - Впечатляющий прирост: На модели Llama-3.3-70B-Instruct при 50% сжатии новый метод выигрывает почти 23 процентных пункта на бенчмарке MMLU по сравнению с лучшими классическими аналогами. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).