Релиз Gemma 3n: мультимодальные модели с эффективным использованием VRAM и архитектурой MatFormer

Google представила Gemma 3n — новую линейку мультимодальных моделей (текст, аудио, видео), которые используют архитектуру MatFormer для динамического масштабирования. Ключевая особенность — концепция «Effective Parameters» (E2B и E4B), позволяющая моделям с реальным весом 5B и 8B потреблять ресурсы на уровне 2B и 4B соответственно. ### Технические особенности и требования: * Эффективность VRAM: Модель E2B требует всего 2 ГБ VRAM, модель E4B — 3 ГБ VRAM. Это делает их идеальными для запуска на потребительских GPU и edge-устройствах. * Архитектура MatFormer: Позволяет извлекать подмножества слоев, адаптируя модель под конкретный бюджет памяти без потери качества. * Per-Layer Embeddings (PLE): Выгрузка эмбеддингов на CPU существенно снижает нагрузку на видеопамять. * KV Cache Sharing: Ускоряет префилл (prefill) в 2 раза по сравнению с Gemma 3 4B, что критично для обработки длинных контекстов в мультимодальных задачах. * Поддержка: Модели уже доступны в `transformers`, `timm`, `llama.cpp`, `ollama` и `MLX`. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).