Релиз Meta Llama 4: архитектура Mixture-of-Experts, нативная мультимодальность и контекст до 10M токенов

Meta представила семейство моделей Llama 4 (Maverick и Scout), использующих архитектуру Mixture-of-Experts (MoE) и раннее слияние (early fusion) для нативной обработки текста и изображений. Обе модели обучены на датасете объемом до 40 триллионов токенов с поддержкой 200 языков. Ключевые нововведения и особенности развертывания: - Архитектура и контекст: Предобучение выполнено на контексте 256K. Версии Instruct масштабируют контекст до 1M токенов для Maverick (128 экспертов) и невероятных 10M токенов для Scout (16 экспертов). - Требования к VRAM и железу: Младшая модель Llama 4 Scout оптимизирована для деплоя на одном серверном GPU с использованием «на лету» квантования 4-bit или 8-bit. Флагманская Llama 4 Maverick поставляется в форматах BF16 и FP8 и требует мощных кластеров с несколькими GPU. - Интеграция: Доступна нативная поддержка в экосистеме Hugging Face (transformers и TGI) с первого дня. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).