Релиз CWE-bench v2: бенчмарк для проверки LLM на уязвимости и анализ Парето-фронта стоимости

Вышло масштабное обновление бенчмарка CWE-bench v2, предназначенного для оценки способности больших языковых моделей находить и предотвращать программные уязвимости. В новую версию вошло 100 тщательно отобранных и проверенных вручную задач, охватывающих 91 тип уязвимостей по классификации CWE. Бенчмарк позволяет проверять как открытые веса (open-weight), так и закрытые API-модели (включая Gemini, Claude и GPT). Основные технические итоги тестирования 11 моделей: - Лидеры по точности: Gemini 4 Argon показывает лучший результат с 67.8% pass@1 и 81.0% pass@4, незначительно опережая Claude Opus 5.5 (67.3% pass@1). - Сложность: 95 из 100 задач успешно решаются хотя бы одной моделью, однако лучший лидер ошибается в 19% попыток, что говорит о далеком от завершения решении проблемы сложных уязвимостей. - Анализ стоимости (Парето-фронт): DeepSeek V4.1 Flash выдает 57.0% pass@1 всего по $0.04 за раскатку, в то время как Claude Opus 5.5 добавляет 10% точности при стоимости $1.83, а Gemini требует уже $3.92. - Инфраструктура тестов: Каждая задача упакована в изолированный Docker-контейнер через экосистему Harbor, что позволяет запускать тесты напрямую из репозитория Hugging Face без ручного клонирования. 🔍 Как выбрать сервер: Сравнить актуальные конфигурации серверов для инференса и тестирования LLM на базе мощных GPU и найти оптимальные цены от проверенных провайдеров можно в каталоге ServerSales (/catalog).