Менеджмент моделей в llama.cpp: мультипроцессность, автозагрузка и LRU-вытеснение

Разработчики `llama.cpp` добавили долгожданную функцию управления моделями в стиле Ollama для своего встроенного HTTP-сервера. Главное обновление — переход на мультипроцессную архитектуру, где каждая инстанс-модель крутится в отдельном процессе. Если какая-то из них упадет от перегрузки или нехватки памяти, остальные останутся работать в штатном режиме. Теперь сервер поддерживает автоматическое сканирование локального кэша или директорий с GGUF-файлами, ленивую загрузку (on-demand) по первому запросу от клиента через OpenAI-совместимый API, а также умное вытеснение по алгоритму LRU (Least-Recently-Used) при достижении лимита одновременно запущенных моделей (по умолчанию — до 4 штук). Инженеры могут вручную управлять жизненным циклом весов через эндпоинты `/models/load` и `/models/unload` для эффективного высвобождения VRAM. * Автообнаружение: Сканирование путей `LLAMA_CACHE` или кастомных папок `--models-dir`. * Отказоустойчивость: Изоляция процессов для каждой LLM защищает весь сервер от падений. * Гибкий контроль VRAM: Автоматическая выгрузка неиспользуемых весов и ручное управление через REST API. 💡 Где захостить и как запустить: Рассчитать точный VRAM под кванты этой модели, скорость генерации (токенов/сек) и выбрать подходящий сервер с GPU можно у нас на ServerSales в калькуляторе AI-моделей (/ai) или каталоге GPU (/gpu).