Обнаружение дрейфа
Погорелов Петр — ML Engineer
Прямое измерение Model Drift
Позволяет измерить дрейф модели напрямую.
Выполняется с помощью замера offline метрики (Precision, Recall, AUC-ROC, RMSE, …).
Требует оперативного получения разметки целевой величины (не всегда доступно).
Косвенное измерение Model Drift
Позволяет измерить дрейф модели по косвенным признакам.
Опирается на изменение распределения целевой величины / описательных признаков.
Обнаружение. Статистики.
Обнаружение. Статистические тесты.
Постановка:
Нулевая гипотеза (H0): Распределения source и target - не отличаются.
Альтернативная гипотеза (H1): Распределения source и target - отличаются.
Статистические тесты
Непрерывные величины: тесты
Смирнова-Колмогорова
и
Андерсена Дарлинга
, бутстрап.
Категориальные величины: тест
Хи-квадрат
.
Векторные величины: тесты на базе
Maximum Mean Discrepancy
,
Least-Squares Density Difference
.
Сезонность