Обнаружение дрейфа

Погорелов Петр — ML Engineer

Прямое измерение Model Drift

  • Позволяет измерить дрейф модели напрямую.
  • Выполняется с помощью замера offline метрики (Precision, Recall, AUC-ROC, RMSE, …).
  • Требует оперативного получения разметки целевой величины (не всегда доступно).

Косвенное измерение Model Drift

  • Позволяет измерить дрейф модели по косвенным признакам.
  • Опирается на изменение распределения целевой величины / описательных признаков.

Обнаружение. Статистики.

Обнаружение. Статистические тесты.

Постановка:

  • Нулевая гипотеза (H0): Распределения source и target - не отличаются.
  • Альтернативная гипотеза (H1): Распределения source и target - отличаются.

Статистические тесты

  1. Непрерывные величины: тесты Смирнова-Колмогорова и Андерсена Дарлинга, бутстрап.
  2. Категориальные величины: тест Хи-квадрат.
  3. Векторные величины: тесты на базе Maximum Mean Discrepancy, Least-Squares Density Difference.

Сезонность