Релиз Falcon-Emirati-7B: специализированная LLM для эмирати-диалекта на гибридной архитектуре Mamba-Transformer

Вышла Falcon-Emirati-7B — языковая модель, обученная специально под эмирати-диалект арабского языка (Gulf Arabic), включая локальную лексику, фольклор, поэзию набати и культурный контекст. За основу взято семейство Falcon-H1-Arabic, использующее гибридную архитектуру: параллельную работу механизмов State Space Models (Mamba) и Transformer attention в каждом блоке. Это дает линейную эффективность Mamba на длинных последовательностях с сохранением точности attention. Модель имеет следующие ключевые особенности: * Объем параметров: 7B (выбран как оптимальный баланс между качеством нюансов диалекта и стоимостью инференса). * Архитектура: Гибрид Mamba + Transformer с поддержкой контекстного окна от 128K до 256K токенов (в базовом семействе). * Назначение: Понимание и генерация разговорного эмирати-диалекта, юмора, идиом и культурных отсылок, которые стандартный литературный арабский (MSA) упускает. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).