NVIDIA Kumo Tabular: релиз фундаментальной модели для табличных данных и инференса без дообучения

NVIDIA представила Kumo Tabular — открытую фундаментальную модель для задач классификации и регрессии на табличных данных. В отличие от традиционных градиентных бустингов (GBDT), которые требуют полного цикла сбора данных, генерации фич (feature engineering) и подбора гиперпараметров под каждую новую задачу с нуля, Kumo Tabular реализует концепцию *in-context learning* (контекстного обучения). Модель способна решать задачи прогнозирования (например, отток клиентов, дефолты или прогнозирование спроса) за один прямой проход (forward pass), используя размеченные строки в качестве контекста. Архитектурно Kumo Tabular представляет собой специализированный Трансформер, адаптированный под структуру таблиц: - Эмбеддинг ячеек и строк: Числовые и категориальные значения преобразуются через Fourier-фичи. Колоночное и строковое внимание обрабатывают распределения в колонках и взаимодействие фич внутри строки без необходимости сложной импутации пропущенных данных. - Контекстное обучение и Test-GQA: Кэш ключей и значений для контекстных строк вычисляется один раз и может переиспользоваться. Механизм Test-GQA сокращает размер кэша для запросов, выдавая вероятности классов или квантили для регрессии. - Length-aware Attention Temperature: Масштабирование температуры внимания по логарифму числа ключей позволяет модели сохранять точность при инференсе на таблицах, размер которых в десятки раз превышает типичные тренировочные датасеты. 💡 Как выбрать сервер: Сравнить актуальные конфигурации серверов на базе этого оборудования и найти минимальные цены от проверенных провайдеров РФ и Европы можно в каталоге ServerSales (/catalog).