StateBench: новый бенчмарк для проверки того, как LLM удерживают контекст и отслеживают изменения состояний

Исследователи представили StateBench — специализированный бенчмарк для оценки того, насколько качественно языковые модели умеют отслеживать эволюцию сущностей и переменных в длинных документах. Эта задача критически важна для анализа кода, юридических документов и длинных текстов, где пропущенный шаг в цепочке изменений (например, смена владельца объекта) ломает всю логику ответа. Бенчмарк разделен на четыре уровня сложности на базе алгебраической теории Крона — Роудса, от простых операций присваивания до сложных цепочек зависимостей. Тестирование показало следующие результаты: * Трансформеры против гибридов: Классические трансформеры ожидаемо сыпятся на сложных цепочках по мере роста контекста. * Преимущество рекуррентных архитектур: Модели с динамической памятью (например, Gated DeltaNet) демонстрируют гораздо большую устойчивость к длинным последовательностям. * Ограничения топовых моделей: Даже передовые коммерческие мультимодальные и текстовые модели начинают терять логику при усложнении задач на трекинг состояния. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).