NVIDIA представила Llama Nemotron Nano VL: мультимодальную VLM-модель для распознавания документов и OCR

NVIDIA пополнила семейство моделей Nemotron новой разработкой — Llama Nemotron Nano VL. Это компактная мультимодальная модель (Vision-Language Model), созданная для интеллектуальной обработки документов (IDP) и продвинутого OCR. В основе решения лежит связка архитектуры Llama-3.1-8B-Instruct и визуального энкодера C-RADIOv2-VLM-H на базе Vision Transformer (ViT). Модель оптимизирована для извлечения информации из сложных документов: PDF-файлов, графиков, таблиц и формул, демонстрируя высокую точность в бенчмарке OCRBench v2. Главные технологические особенности: * Динамическая агрегация патчей: поддержка высокоразрешенного ввода произвольных соотношений сторон без потери глобального контекста и мелких деталей (например, шрифтов или сложных схем). * Элементный анализ: высокая точность при парсинге таблиц, инвойсов, графиков и диаграмм с поддержкой баундинг-боксов (grounding). * Возможности дообучения: модель доступна на Hugging Face Hub, а инженеры могут проводить post-training на собственных датасетах с помощью фреймворка NVIDIA NeMo. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).