Релиз FilBench: бенчмарк для оценки LLM в задачах с филиппинскими языками на базе Lighteval

Разработчики представили FilBench — специализированный комплексный бенчмарк для оценки возможностей языковых моделей в работе с тагальским, филиппинским (стандартизированная форма тагальского) и себуанским языками. Инструмент оценивает модели по четырем ключевым категориям: культурные знания, классический NLP, понимание прочитанного и генерация. Тесты охватывают 12 различных задач, включая анализ настроений и машинный перевод на основе непереведенного контента для максимальной аутентичности. Бенчмарк интегрирован в официальный репозиторий Lighteval как набор комьюнити-задач. Первые тесты более чем 20 актуальных LLM показали следующие результаты: * Региональные модели для Юго-Восточной Азии (например, SEA-LION и SeaLLM) демонстрируют отличную параметрическую эффективность, превосходя более крупные универсальные аналоги. * Проприетарные флагманы вроде GPT-4o по-прежнему удерживают лидерство в комплексном понимании локального контекста. * Сбор качественных локальных датасетов остается ключевым драйвером для улучшения регионального инференса. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты региональных моделей, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).