DeepSeek-V4: миллионный контекст для AI-агентов, гибридное внимание и радикальная экономия KV-кэша

DeepSeek анонсировала модель V4, созданную специально для долгоиграющих задач автономных AI-агентов (сложные сессии SWE-bench, многошаговый веб-серфинг, длинные цепочки вызовов терминала). Главная проблема работы с контекстом в 1 млн токенов на практике — это не столько емкость, сколько стоимость каждого прямого прогона (forward pass) и раздувание KV-кэша на GPU, из-за чего на середине задачи деградируют tool-call запросы. В DeepSeek-V4 эту проблему решили архитектурно, разделив механизм внимания на две переплетенные системы: * Compressed Sparse Attention (CSA): сжимает KV-записи в 4 раза по размерности последовательности с помощью softmax-gated пулинга и learned positional bias. Молниеносный FP4-индексатор выбирает топ-k сжатых блоков под каждый запрос. * Гибридное внимание (CSA + HCA): снижает вычислительные затраты и требования к памяти до рекордных значений. Аппаратные требования и метрики производительности: * DeepSeek-V4-Pro: требует всего 27% от FLOPs при инференсе одного токена по сравнению с V3.2 и использует лишь 10% памяти под KV-кэш. * DeepSeek-V4-Flash: еще более легкая версия — 10% FLOPs и 7% KV-кэша от базовых показателей. * Сравнение с GQA (8 голов, BF16): новая архитектура требует примерно 2% размера кэша, что делает деплой моделей с ультрадлинным контекстом на стандартных кластерах GPU экономически целесообразным. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).