Hugging Face Hub выкатил Storage Buckets: S3-совместимое хранилище с дедупликацией на базе Xet для ML-артефактов

Hugging Face представила Storage Buckets — полноценные мутабельные S3-подобные хранилища прямо на платформе Hub. Новинка призвана решить главную боль инженеров: Git-репозитории откровенно захлебываются, когда речь заходит о регулярной перезаписи чекпоинтов, тяжелых датасетах и логах работы агентов. Теперь хранить и синхронизировать такие файлы можно через веб-интерфейс, Python-скрипты или утилиту `hf CLI` по привычным путям вроде `hf://buckets/username/my-training-bucket`. Главная техническая фишка решения — интеграция с бэкендом Xet. Вместо того чтобы заливать файлы монолитными блоками, система режет их на чанки и автоматически дедуплицирует данные. Это критически важно для MLOps-пайплайнов: * Эффективность с чекпоинтами: последовательные сохранения модели делят большую часть замороженных весов, поэтому новые файлы заливаются мгновенно. * Экономия трафика и диска: пропускаются уже существующие чанки, что ускоряет CI/CD-пайплайны обучения. * Профит для Enterprise: биллинг облачного хранилища рассчитывается по реально занятому объему с учетом дедупликации, снижая затраты на инфраструктуру. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).