Hugging Face и Google Cloud: CDN-шлюз для ускорения деплоя моделей и интеграция с Vertex AI

Hugging Face и Google Cloud объявили о стратегическом партнерстве, направленном на оптимизацию жизненного цикла open-source моделей в облачной инфраструктуре. Ключевым нововведением станет запуск специализированного CDN-шлюза, который кэширует репозитории Hugging Face напрямую в сети Google Cloud. Это решение критически важно для сокращения времени загрузки весов моделей (time-to-first-token) и повышения надежности цепочки поставок данных при работе с крупными LLM. Основные изменения для инженеров: * CDN Gateway: Прямое кэширование моделей и датасетов в GCP, что минимизирует задержки при развертывании в GKE, Vertex AI и Cloud Run. * Оптимизация Inference Endpoints: Hugging Face расширяет доступ к вычислительным ресурсам Google Cloud, обещая новые типы инстансов и снижение стоимости инференса. * Упрощение governance: Интеграция позволяет прозрачно управлять доступом к моделям при масштабировании инфраструктуры от простых VM до сложных кластеров Kubernetes. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).