TextQuests: новый бенчмарк для проверки LLM-агентов на играх с текстовой механикой

Исследователи представили бенчмарк TextQuests, разработанный на базе 25 классических текстовых квестов Infocom. Этот инструмент создан для стресс-тестирования больших языковых моделей (LLM) в роли автономных агентов, способных действовать в неструктурированных средах без внешних инструментов. ### Ключевые особенности бенчмарка: * Длинный контекст (Long-Context Reasoning): Игры требуют выстраивания многошаговых стратегий на основе сотен последовательных действий и растущей истории сессии без урезания контекста. * Обучение через исследование: Модели должны адаптироваться к неудачам, исправлять ошибки методом проб и ошибок в неизведанном виртуальном мире. * Двойной прогон и метрики: Тестирование проводится в двух режимах — с подсказками (With Clues) и без них (No Clues) в пределах до 500 шагов. Помимо игрового прогресса, оценивается и показатель вредоносности (Harm) по нежелательным действиям. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).