Инженерия инференса LLM: Оптимизация фаз Prefill и Decode для кластеров с NVIDIA H100

Масштабирование инференса языковых моделей в production требует глубокого понимания архитектурных различий между фазами генерации. На примере инфраструктуры с 24 ускорителями NVIDIA H100, обрабатывающей свыше 5 000 запросов и 10 млн токенов ежедневно, рассмотрим ключевые особенности обработки нагрузки. Процесс генерации текста авторегрессионными моделями делится на два принципиально разных этапа: - Prefill (генерация первого токена): Параллельная обработка всех токенов входного промпта и первичное заполнение KV-кэша. Эта фаза критически нагружает вычислительные ядра GPU и определяет метрику Time to First Token (TTFT). - Decode (потоковая генерация): Последовательное вычисление каждого нового токена с опорой на KV-кэш. Параллелизация на уровне отдельного запроса здесь невозможна, что лимитирует скорость генерации (Time Per Output Token). Для интерактивных сервисов (чат-боты) целевые показатели составляют до 3 секунд на TTFT и 3–10 токенов в секунду для decode-фазы. В пакетных задачах (перевод, анализ кода) фокус смещается на максимизацию общего throughput (токенов в секунду на весь кластер), балансируя между задержкой и утилизацией памяти GPU. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).