NVIDIA Nemotron 3.5 Transcribe and Granary v2: интеллектуальная многоязычная транскрипция, которую можно подсказывать и адаптировать

NVIDIA Nemotron 3.5 Transcribe — это открытая, быстрая модель, которая превращает записанную речь в полезный текст. Теперь она доступна на Hugging Face и ModelScope. Он объединяет транскрипцию, атрибуцию говорящего (диаризацию), перевод и ответы на аудиовопросы в одной контрольной точке: он транскрибирует 40 языков, переводит 31 из них на английский или с английского и атрибутирует говорящих на 13. Он обрабатывает записи продолжительностью до часа и маркирует до восьми говорящих. Разработчики могут управлять выводом на естественном языке, выбирать, где будет обрабатываться звук, и адаптировать распознавание к предметной лексике и акцентам. Transcribe занимает первое место среди моделей с открытым весом в таблице лидеров Hugging Face Open ASR для английского языка и находится на границе точности и активных параметров искусственного анализа. Что касается атрибуции говорящих, он демонстрирует самый низкий уровень ошибок в таблице лидеров диаризации Дэвида AI на 21 языке и занимает первое место в сравнении 14 систем VoiceArena. Он работает на одном графическом процессоре NVIDIA — от DGX Spark до систем центров обработки данных Blackwell. Многоязычные данные Granary v2 (доступны на Hugging Face и ModelScope) и многоразовый конвейер курирования вместе с инструментами тонкой настройки NeMo Speech расширяют контроль на уровне подсказок для обучения: разработчики могут определять необходимую им письменную форму и адаптировать модель к речи, с которой сталкиваются их приложения. В медицинском исследовании точная настройка сократила частоту ошибок в словах (WER) на удерживаемых говорящих на 45,8% по сравнению с лучшим подсказкой. Транскрипция и анализ руководства на естественном языке. Одна и та же контрольная точка может превратить одну запись собрания в разные выходные данные в зависимости от инструкции: Познакомьтесь с моделью в действии, посмотрев видео ниже, где она демонстрирует классическую сцену из эксцентричной комедии 1940 года «Его девушка пятница» — фильма, известного своими стремительными, сильно перекрывающимися диалогами. Nemotron 3.5 Transcribe подписывает сцену из фильма «Его девушка в пятницу» (1940) и маркирует говорящих, включая перекрывающиеся диалоги. Если вы незнакомы, попробуйте контекст перед обучением. Например, в медицинском учреждении: Расшифруйте это медицинское обсуждение на языке оригинала. Возможные термины: HbA1c, метформин. Используйте эти термины только в том случае, если они поддерживаются аудио. Сохраняйте стандартную медицинскую орфографию и записывайте цифры в обычной письменной форме. 💡 Где захостить и как запустить: рассчитать точные требования к объёму VRAM под разные типы квантования этой модели (4-bit Q4, FP8, FP16), оценить скорость генерации токенов в секунду и подобрать совместимый сервер с GPU можно на ServerSales в интерактивном подборщике AI-моделей или каталоге GPU-серверов.