Релиз Llama Guard 4 и Prompt Guard 2: мультимодальный секьюрити-фильтр и защита от джейлбрейков

Meta* представила линейку инструментов безопасности для продакшн-контуров: мультимодальную модель Llama Guard 4 (12B) и классификаторы Llama Prompt Guard 2 (86M и 22M параметров). Новинки созданы для фильтрации токсичного контента, промпт-инъекций и джейлбрейков в текстовых и визуальных пайплайнах. Технические особенности Llama Guard 4: - Архитектура: Плотная (dense) модель на 12 млрд параметров, полученная путем прунинга MoE-модели Llama 4 Scout (оставлен только разделяемый эксперт без routed-слоев). - Аппаратные требования (VRAM): Для инференса достаточно одной видеокарты с 24 ГБ VRAM (например, NVIDIA RTX 3090/4090 или серверных A10G / L4). - Мультимодальность: Анализ до 5 изображений на один запрос + текстовый контекст (соотношение обучающих данных 3:1 в пользу текста). - Таксономия угроз: Распознавание 14 типов опасностей по классификатору MLCommons + детекция злоупотреблений код-интерпретатором, мультиязычность. Особенности Llama Prompt Guard 2: - Представлены две компактные модели на 86M и 22M параметров для быстрой бинарной классификации (безопасный запрос / атака). - Повышена устойчивость токенизатора к состязательным (adversarial) атакам и обфускации. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).