Семейство языковых моделей Granite 4.1: плотные архитектуры, 512K токенов контекста и Apache 2.0

IBM представила семейство плотных трансформеров Granite 4.1, включающее модели на 3B, 8B и 30B параметров, обученные на 15 триллионах токенов. Главный фокус разработчиков сместился с простого наращивания вычислителей на жесткую фильтрацию данных и многоэтапный пайплайн обучения. Примечательно, что модель на 8B параметров (версия Instruct) обходит по метрикам более тяжелую 32-гигабайтную смесь экспертов Granite 4.0-H-Small, демонстрируя высокую эффективность плотных (dense) архитектур. Технические особенности Granite 4.1: * Архитектура: Decoder-only трансформер с Grouped Query Attention (GQA), Rotary Position Embeddings (RoPE), функциями активации SwiGLU, RMSNorm и общими входными/выходными эмбеддингами. * Контекстное окно: Расширение до 512K токенов на финальном этапе обучения (фаза LCE). * Пайплайн обучения: Пять последовательных фаз (от базового претрейна на 10T токенов и акцента на мат/код до анжигации качественных данных и долгого контекста). * Финальная доводка: Supervised Fine-Tuning на 4.1 млн кураторских сэмплов и RL с помощью on-policy GRPO с функцией потерь DAPO. Модели распространяются под свободной лицензией Apache 2.0, что делает их отличным кандидатом для корпоративного деплоя в локальные контуры. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).