Релиз SmolLM3-3B: эффективный мультимодельный reasoning-рассуждатель с длинным контекстом

Команда разработчиков представила SmolLM3 (3B) — компактную, мультиязычную языковую модель с поддержкой длинного контекста и зачатками рассуждения (reasoning), которая уверенно обходит Llama-3.2-3B и Qwen2.5-3B, конкурируя с более тяжелыми 4-параметрическими решениями. Авторы не только выложили веса, но и поделились полным инженерным рецептом претрейна на базе публичных датасетов. ### Архитектурные особенности и оптимизации: * Grouped-Query Attention (GQA): Переход на 4 группы внимания позволил сохранить производительность Multi-Head Attention, радикально снизив потребление VRAM под KV-кэш при инференсе. * Гибридный NoPE (No Rotary Position Embeddings): Ротационные эмбеддинги удалены из каждого 4-го слоя по методике Yang et al. (2025), что повысило точность на длинных контекстах без деградации коротких промптов. * Intra-Document Masking: Изоляция токенов разных документов в одном батче стабилизировала и ускорило обучение на длинных последовательностях. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).