Ко всем новостям
🌐Hugging Face BlogAI-адаптировано

Предсказание времени дообучения LLM: почему FLOP-оценка ошибается на часы и как ее исправить с помощью ML

Инсайт ServerSales • Влияние на рынок

Классический расчет времени дообучения LLM через FLOPs игнорирует I/O, чекпоинты и логику кластера, но применение ML-регрессоров позволяет снизить ошибку планирования с 12+ часов до менее чем 2 часов.

Оценка времени дообучения (fine-tuning) генеративных языковых моделей с помощью классической формулы FLOPs часто приводит к серьезным погрешностям в реальной инфраструктуре. На основе анализа 272 реальных задач supervised fine-tuning (SFT) на кластере с NVIDIA H200 исследователи выяснили, что стандартный расчет дает низкую точность ($R^2 = 0.31$, средняя абсолютная ошибка 12.4 часа), так как учитывает только чистые затраты на матричные умножения и игнорирует множество факторов реального пайплайна. Главные причины расхождений между теорией и практикой: - Накладные расходы I/O и сети: Загрузка весов, токенизация, выгрузка чекпоинтов в объектное хранилище и сетевой трафик в мультиарендном кластере. - Динамика процесса: Частота проведения evaluation-тесков, политика сохранения чекпоинтов и распределение нагрузки на GPU. - Нереалистичность пиковых метрик: Использование фиксированного MFU (Model FLOPs Utilization) вместо учета реальных задержек на передачу данных в памяти и коммуникацию между узлами. Замена простой математики на CatBoost-регрессор, учитывающий параметры задачи до ее старта, позволила поднять точность предсказания до $R^2 = 0.98$ со средней абсолютной ошибкой всего 1.71 часа. Это позволяет эффективнее планировать расписание кластера, минимизировать простои дефицитных ускорителей и избегать сдвигов дедлайнов. 💡 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).

Где захостить и как запустить

Планируете развернуть эту нейросеть?

На ServerSales вы можете рассчитать точные требования к VRAM под разные типы квантования (4-bit Q4 / FP8 / FP16), оценить скорость генерации (токенов/сек) и сразу подобрать проверенный сервер с GPU от ведущих провайдеров.

Первоисточник материала
Новость опубликована в издании Hugging Face Blog.
Вы можете прочитать полную версию статьи и комментарии на сайте источника.
Читать на Hugging Face Blog
Проверенные провайдеры под задачи материала

Надежные облачные платформы и серверы в РФ

Весь каталог
SelectelTier III • 152-ФЗ
★ 4.9

Крупнейший IaaS-провайдер РФ: облачные VPS, Bare Metal серверы и GPU-кластеры для ИИ.

Бонус до 3 000 ₽ на облачную платформу
Перейти в Selectel
Timeweb CloudNVMe • Anti-DDoS
★ 4.8

Скоростные VPS от 299 ₽/мес, почасовая тарификация, готовые образы и GPU RTX 4090 / A100.

Скидка 20% на первый заказ VPS
Перейти в Timeweb Cloud
Рекомендуемые конфигурации по теме
В наличииGPU
Timeweb Cloud

Timeweb Cloud

Россия★ 4.8

GPU RTX A5000 24GB

CPU

8 ядер

RAM

64 ГБ

Диск

500 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX A5000 (24 ГБ GDDR6X)

36 ₽/час

24 999 ₽/мес

В наличииЛучшая цена GPU
Hostkey

Hostkey

Россия★ 4.3

vgpu.v3-4090 (RTX 4090 24GB)

CPU

8 ядер

RAM

64 ГБ

Диск

240 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX 4090 (24 ГБ GDDR6X)

42 ₽/час

29 900 ₽/мес

В наличииGPU
Timeweb Cloud

Timeweb Cloud

Москва★ 4.8

GPU RTX 4090

CPU

16 ядер • 3.7 ГГц

RAM

64 ГБ

Диск

512 ГБ NVMe

Канал

1 Гбит/с

GPU

NVIDIA RTX 4090 (24 ГБ GDDR6X)

49 ₽/час

34 999 ₽/мес

Каталог серверов ServerSales

Ищете точную конфигурацию под ваш бюджет?

Используйте наш интерактивный мастер подбора: рассчитайте точные ресурсы CPU, RAM и диска за 3 шага.

Другие новости индустрии

🌐PhoronixAI-адаптация

Linux 7.4 ускорит инициализацию NVMe за счет параллельной обработки пространств имен

В свежем патче подсистемы block для готовящегося релиза ядра Linux 7.4 реализована важная оптимизация для работы с накопителями NVMe. Разработчики перевели процедуру сканирования и инициализации пространств имен (namespaces) в параллельный режим. Ранее при подключении многоуровневых Enterprise SSD или массивов с большим количеством логических разделов (namespaces) ядро опрашивало их последовательно. Это приводило к заметной задержке во время загрузки системы или горячего подключения дисков, особенно на серверах высокой плотности с десятками NVMe-накопителей на шине PCIe. Основные технические детали обновления: * Параллельная инициализация NVMe namespaces снижает накладные расходы на старте системы. * Ускоряется процесс детектирования дисков контроллерами. * Патч особенно актуален для гипервизоров и дата-центров, оперирующих массивами быстрых NVMe U.2/U.5 SSD. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).

💡 Инсайт:Параллельное сканирование NVMe namespaces в Linux 7.4 сокращает время загрузки серверов с большим парком быстрых SSD.
🌐PhoronixAI-адаптация

Libreboot отменяет запрет на использование ИИ при разработке прошивок

Проект Libreboot, известный своей бескомпромиссной приверженностью свободному ПО, официально отказался от политики запрета на использование нейросетей при написании кода. Ограничение, введенное всего месяц назад, было снято: теперь контрибьюторы могут свободно использовать LLM для генерации патчей и документации. Для системных администраторов и инженеров, занимающихся низкоуровневой настройкой серверов, это решение означает: * Снижение барьера входа для написания сложных скриптов инициализации и отладки прошивок. * Ускорение процесса исправления багов в драйверах и модулях ядра за счет использования ИИ-ассистентов. * Возвращение к прагматичному подходу, где качество кода важнее инструментов, с помощью которых он был написан. 💡 Как выбрать сервер: Если вы планируете развертывание инфраструктуры с использованием Open Source прошивок или кастомных решений для обеспечения максимальной прозрачности и безопасности, подобрать серверы с поддержкой актуальных архитектур можно в каталоге ServerSales (/catalog).

💡 Инсайт:Отказ от запрета на ИИ в Libreboot сигнализирует о признании нейросетей полноценным инструментом в разработке критически важного системного ПО.
🌐PhoronixAI-адаптация

Ядро Linux 7.5 увеличивает лимит mmap до 8 ТБ для ускорения работы с многочиповыми GPU

В грядущем цикле разработки ядра Linux 7.5 появится важное изменение в графических драйверах подсистемы GEM/TTM. Разработчики расширяют диапазон mmap для буферных объектов с прежнего 1 ТБ сразу до 8 ТБ. Это архитектурное обновление критически важно для современных серверов искусственного интеллекта и высокопроизводительных вычислений (HPC), где используются массивные ускорители со значительным объемом видеопамяти (VRAM). Ранее существовавший лимит в 1 ТБ создавал узкие горлышки при проецировании больших объемов памяти GPU в адресное пространство хоста. Новое решение позволит: - Эффективнее мапить огромные массивы VRAM многочиповых конфигураций accelerators. - Снизить оверхед при работе с тяжелыми весами моделей и большими датасетами. - Повысить общую пропускную способность шины и стабильность кластеров под нагрузкой. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).

💡 Инсайт:Снятие ограничений подсистемы памяти Linux до 8 ТБ оптимизирует работу плотных кластеров GPU и многотерабайтных VRAM-конфигураций в серверах ИИ.