Как обучить модель за меньшие деньги? Сравниваем стоимость тренировки модели на разных GPU-платформах

Сравнительный опыт тренировки модели на разных GPU-платформах: в Google, AWS и у одного из отечественных хостинг-провайдеров. Эксперты по data science из проекта Catalyst сравнили время и общую стоимость тренировки модели и выбрали оптимальный вариант Материал подготовлен командой Catalyst. Мнение авторов может не совпадать с мнением редакции Высокопроизводительные GPU сегодня востребованы во всех областях IT-индустрии, в научных проектах, в системах безопасности и других направлениях. Инженерам, архитекторам и дизайнерам мощные компьютеры нужны для рендеринга и 3D-анимации, для тренировки нейронных сетей и для анализа данных, для аналитики в режиме реального времени и для других задач, связанных с большим объемом вычислений. В общем, высокопроизводительные GPU-серверы — весьма популярное решение на рынке. С каждым годом во всех сферах получают все большее распространение методы искусственного интеллекта (ИИ) и машинного обучения (ML). Эти технологии уже сейчас совершают революцию в области медицинской диагностики, помогают развивать финансовые инструменты, создавать новые сервисы интеллектуальной обработки данных, позволяют реализовывать различные проекты в области фундаментальной науки, робототехники, управления человеческими ресурсами, транспорта, тяжелой промышленности, городского хозяйства, распознавания речи, лиц и объектов, доставки контента. Например, NVIDIA призвала владельцев компьютеров с мощными GPU использовать их для помощи в борьбе со вспышкой пандемии коронавирусной инфекции COVID-19. Поскольку многие современные задачи машинного обучения используют графические процессоры, перед людьми все чаще встает вопрос: что же для этих целей выбрать? Чтобы ответить на него, очень важно разбираться в показателях стоимости и производительности разных GPU. В настоящее время целый ряд провайдеров предлагает виртуальные, облачные (GPUaaS) и выделенные серверы с GPU для машинного обучения. Выделенные серверы — оптимальный вариант, когда вычислительные мощности требуются на постоянной основе, а содержать собственную машину невыгодно или попросту невозможно. Некоторые провайдеры сдают в помесячную аренду такие сервера, и при наличии необходимого количества задач, способных этот сервер загрузить, в пересчете на часы и минуты цены могут быть весьма привлекательными. Однако в большинстве случаев все же предпочтительнее виртуальные серверы (VDS/VPS) с тарификацией по часам или минутам либо облачные сервисы — это обычно и дешевле, и более гибко. Доли выделенных инстансов GPU разных типов четырех ведущих провайдеров (по данным Lliftr Cloud Insight, май 2019 г.) Согласно последнему отчету Global Market Insights, объем мирового рынка GPUaaS к 2025 году превысит $7 млрд. Участники рынка разрабатывают GPU-решения специально для глубокого обучения (DL) и ИИ. Например, NVIDIA Deep Learning SDK обеспечивает высокопроизводительное GPU-ускорение для алгоритмов глубокого обучения и предназначен для создания готовых DL-фреймворков.

💡 Где захостить и как запустить: рассчитать точные требования к объёму VRAM под разные типы квантования этой модели (4-bit Q4, FP8, FP16), оценить скорость генерации токенов в секунду и подобрать совместимый сервер с GPU можно на ServerSales в интерактивном подборщике AI-моделей или каталоге GPU-серверов.