NVIDIA представила Nemotron 3 Nano 30B и открытый стандарт бенчмаркинга через NeMo Evaluator

NVIDIA выпустила модель Nemotron 3 Nano 30B (A3B), сделав акцент на максимальной прозрачности бенчмарков. Вместе с моделью компания опубликовала полный набор рецептов для оценки (evaluation recipe) на базе библиотеки NVIDIA NeMo Evaluator. Это позволяет инженерам полностью воспроизвести пайплайн тестирования, изучить артефакты и самостоятельно проверить заявленные метрики. Основная проблема индустрии ИИ заключается в том, что большинство вендоров упускают критически важные детали тегов, промптов, версий харнассов и конфигураций рантайма, из-за чего результаты сложно верифицировать. NeMo Evaluator решает эту проблему за счет следующих принципов: * Унифицированный пайплайн: единая система для описания бенчмарков и промптов без использования одноразовых скриптов. * Независимость от бэкенда инференса: пайплайн отделен от инфраструктуры выполнения, что позволяет тестировать модели на локальных деплоях, облачных эндпоинтах или сторонних провайдерах без искажения метрик. * Масштабируемость и аудит: автоматическая генерация структурированных логов и артефактов для глубокого анализа и дебага. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).