Alyah: новый бенчмарк для проверки понимания эмиратского диалекта в арабских языковых моделях

Исследователи представили Alyah (в переводе — «Северная Звезда») — специализированный бенчмарк для оценки возможностей больших языковых моделей (LLM) в работе с региональными диалектами арабского языка, в частности с эмиратским диалектом. Большинство существующих датасетов сфокусированы на современном стандартном арабском (MSA), из-за чего модели часто теряются в неформальной лексике, идиомах и культурных отсылках, используемых в реальном общении. ### Главные особенности бенчмарка: - Объем и состав: 1,173 тщательно выверенных вопроса с выбором из четырех вариантов ответа (multiple-choice), собранных вручную от носителей языка. - Культурный контекст: Тестирование охватывает локальные приветствия, фольклор, устную поэзию, пословицы и специфические разговорные обороты, не поддающиеся буквальному переводу. - Контроль качества: Дистракторы (неправильные варианты) сгенерированы с помощью LLM и проверены на правдоподобность, а позиции правильных ответов рандомизированы для исключения позиционного баса. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).