BenchMIRT: новый фреймворк для глубокого аудита бенчмарков LLM на уровне промптов

Исследователи представили BenchMIRT — метод аудита языковых моделей, который анализирует бенчмарки не целиком, а на уровне отдельных промптов и задач. Большинство современных тестов (например, на безопасность, логику или следование инструкциям) на практике смешивают сразу несколько навыков. К примеру, тест на возрастные предрассудки BBQ требует от модели не только отсутствия стереотипов, но и сильных навыков логического вывода и удержания контекста. В основе BenchMIRT лежит многомерная теория ответа на пункт (multidimensional IRT, MIRT), заимствованная из психометрики. Метод оценивает каждый вопрос по степени сложности и способности разделять сильные и слабые модели по разным векторам возможностей. * Охват данных: Метод уже протестирован на результатах 100 LLM, 16 бенчмарках и более чем 34 тысячах вопросов. * Разделение метрик: Фреймворк позволяет отделить общие рассуждения от навыков безопасности (на базе тестов MMLU-Pro, GPQA, MATH, HarmBench, WildJailbreak и др.). * Устранение шума: Помогает инженерам понять, что именно на самом деле измеряет итоговый скор модели, исключая слепое усреднение разнородных метрик. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).