Релиз 3LM: первый комплексный бенчмарк для оценки арабских LLM в точных науках и программировании
Появление 3LM закрывает критический пробел в оценке арабских LLM, позволяя объективно тестировать их логические возможности в кодинге и STEM-дисциплинах.
Исследователи представили бенчмарк 3LM (علم), разработанный специально для тестирования арабских языковых моделей в сложных технических дисциплинах — STEM (наука, технология, инженерия, математика) и генерации кода. Существующие бенчмарки для арабского NLP ранее фокусировались лишь на базовых задачах вроде анализа тональности или суммирования, оставляя за кадром логику и точные науки. Бенчмарк включает три ключевых компонента: * Native STEM: 865 реальных вопросов с множественным выбором (MCQ) из арабских учебников (8–12 классы) по физике, химии, биологии, математике и географии с оценкой сложности по 10-бальной шкале. * Synthetic STEM: 1,744 синтетических вопроса повышенной сложности, сгенерированных через пайплайн YourBench для проверки глубоких навыков рассуждения. * Arabic Code Benchmarks: адаптированные и переведенные на арабский язык датасеты HumanEval+ и MBPP+ для оценки навыков генерации кода по текстовым промптам. 💡 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).
Планируете развернуть эту нейросеть?
На ServerSales вы можете рассчитать точные требования к VRAM под разные типы квантования (4-bit Q4 / FP8 / FP16), оценить скорость генерации (токенов/сек) и сразу подобрать проверенный сервер с GPU от ведущих провайдеров.
Надежные облачные платформы и серверы в РФ
Крупнейший IaaS-провайдер РФ: облачные VPS, Bare Metal серверы и GPU-кластеры для ИИ.
Скоростные VPS от 299 ₽/мес, почасовая тарификация, готовые образы и GPU RTX 4090 / A100.
Hostkey
GPU RTX 3090 24GB
CPU
8 ядер
RAM
64 ГБ
Диск
500 ГБ NVMe
Канал
1 Гбит/с
GPU
NVIDIA RTX 3090 (24 ГБ GDDR6X)
24 999 ₽/мес
Timeweb Cloud
GPU RTX A5000 24GB
CPU
8 ядер
RAM
64 ГБ
Диск
500 ГБ NVMe
Канал
1 Гбит/с
GPU
NVIDIA RTX A5000 (24 ГБ GDDR6X)
24 999 ₽/мес
Hostkey
GPU RTX 4090 24GB
CPU
16 ядер
RAM
128 ГБ
Диск
1000 ГБ NVMe
Канал
1 Гбит/с
GPU
NVIDIA RTX 4090 (24 ГБ GDDR6X)
32 999 ₽/мес
Ищете точную конфигурацию под ваш бюджет?
Используйте наш интерактивный мастер подбора: рассчитайте точные ресурсы CPU, RAM и диска за 3 шага.