Переход с Docker Swarm на Kubernetes. Сложности и перспективы

Третья статья из цикла ретроспектив об использовании в нашем проекте разных облачных технологий о том как планировали переходить с docker-compose на Docker Swarm написано в первой статье, о том как перешли на Swarm во второй, а в этой статье хочу поделиться опытом и впечатлениями после переноса нашего сервиса на Kubernetes. Сразу скажу, что этот перенос оказался непростым, так как, всё таки, в этих технологиях существенно отличается дизайн управления, а во вторых при переносе открывались новые возможности которые хотелось использовать сразу. Для сравнения, полный переход с docker-compose на Swarm занял не больше месяца, а при переносе инфраструктуры на k8s прошло уже больше половины года, но ещё нельзя сказать что всё перенесено на все сто процентов. Эта статья будет особенно полезна тем кто только присматривается к Kubernetes, однако и тот кто работает с ним какое-то время точно найдет здесь что-то новое, потому что в нашем кейсе мы используем Kubernetes не только для запуска своих сервисов, но и как платформу, на которой работает система, которая позволяет клиентам запускать свои сервисы на наших серверах, соответственно, при таком использовании, требуется более глубокое погружение в технологию. Да и тот кто давно работает с Kubernetes скорей всего тоже найдет для себя полезные мысли. Читать далее

💡 Где захостить и как запустить: рассчитать точные требования к объёму VRAM под разные типы квантования этой модели (4-bit Q4, FP8, FP16), оценить скорость генерации токенов в секунду и подобрать совместимый сервер с GPU можно на ServerSales в интерактивном подборщике AI-моделей или каталоге GPU-серверов.