Обнаружение дрейфа

Погорелов Петр — ML Engineer

Прямое измерение Model Drift

Позволяет измерить дрейф модели напрямую.
Выполняется с помощью замера offline метрики (Precision, Recall, AUC-ROC, RMSE, …).
Требует оперативного получения разметки целевой величины (не всегда доступно).

Мы обсудили типы дрейфа модели и эффекты которые могут возникнуть из-за его возникновения. Далее мы обсудим пути обнаружения этого явления, и начнем с самого простого - прямого измерения дрейфа модели.

Наибольшее влияние на предсказательную силу модели оказывает Concept Drift, и для нас, как разработчиков ML системы - было бы правильным попытаться отследить именно его. Concept Drift представляет собой изменение структурной связи между факторами и целевой величиной, и наиболее очевидный способ его обнаружения - это периодический замер оффлайн-метрик вроде ROC-AUC, F1, Precision, Recall; R^2, RMSE и тд на новых размеченных данных, и проверка насколько сильно они деградировали относительно того момента, когда модель была обучена.

Естественно, на практике - не все так просто. Есть ряд задач, в которых новая разметка органично формируется на регулярной основе, как например - в задачах построения рекомендаций. В таких случаях действительно разумно опереться на оффлайн метрики модели и реализовать мониторинг феномена Concept Drift’a. Однако часто возникает ситуация когда разметку нужно отдельно запрашивать у асессоров, то есть - разметка дорогая и приходит с лагом.

Косвенное измерение Model Drift

Позволяет измерить дрейф модели по косвенным признакам.
Опирается на изменение распределения целевой величины / описательных признаков.

Альтернативный способ обнаружения Model Drift’a - это мониторинг Data Drift’a. Если у нас доступна целевая величина - то можно мониторить феномен Label Shift, но тут встает вопрос рациональности. Наличие Label Shift не является достаточным условием для деградации качества модели, и если у нас доступна целевая величина - то лучше сразу реализовать механизм мониторинга явления Concept Drift.

В качестве альтернативы - можно реализовать мониторинг явления Covariate Shift. Для этого проводится оценка того, насколько сильно изменилось распределение подающихся на вход модели описательных признаков. Здесь нужно отдавать себе отчет что наличие Covariate Shift не всегда сигнализирует о деградации качества модели, но он может выступать косвенным индикатором этой проблемы.

Обнаружение. Статистики.

Есть два основных подхода для обнаружения Model Drift. Первый из них - сравнение статистик распределений (среднее, медиана, персентили, дисперсия, коэффициенты асимметрии и эксцесса распределения) между контрольным и тестовым периодом. Этот подход применим как для детекции Concept Drift’a, так и для Data Drift’a. В первом случае мы мониторим отклонение целевой метрики от экспертно заданного диапазона (например, не хотим чтобы метрика Precision опускалась больше чем на 20% относительно контрольного периода). Во втором случае - мониторим отклонение целевой величины, либо описательных признаков.

Соответственно, если величина над которой осуществляется мониторинг отклоняется сверх допустимого, то система мониторинга должна сгенерировать алерт либо должен сработать триггер на переобучение модели. Проблема данного подхода заключается в том, что величину отклонения метрики нужно указывать экспертно, ровно как и выбирать статистику для мониторинга. Это может привести как к большому количеству ложноположительных срабатываний, так и к пропускам момента для переобучения модели.

Обнаружение. Статистические тесты.

Постановка:

Нулевая гипотеза (H0): Распределения source и target - не отличаются.
Альтернативная гипотеза (H1): Распределения source и target - отличаются.

Статистические тесты

Непрерывные величины: тесты Смирнова-Колмогорова и Андерсена Дарлинга, бутстрап.
Категориальные величины: тест Хи-квадрат.
Векторные величины: тесты на базе Maximum Mean Discrepancy, Least-Squares Density Difference.

Второй способ обнаружение Model Drift’a основан на применении статистических тестов. Мы формируем нулевую гипотезу о том что отслеживаемая нами величина распределена одинаково за тестовый и контрольный период. Альтернативная гипотеза говорит что распределение отличается. Если величина имеет вещественный тип - можно использовать тесты Смирнова-Колмогорова [2], Андерсена-Дарлинга [3], либо тест на базе бутстрапа. Тест на базе бустрапа вычислительно более сложный и его имеет смысл использовать в том случае, если у нас нет жестких требований по времени ответа сервиса мониторинга. Если величина распределена по дискретному закону - то хорошим вариантом будет использовать тест Хи^2 [4].

Если же величина представляет собой вектор (например, мы работаем с изображениями), то можно использовать перестановочный тест [5] на базе величины Maximum Mean Discrepancy [6] либо величины Least-Squares Density Difference [7].

[2] https://www.itl.nist.gov/div898/handbook/eda/section3/eda35g.htm [3] https://www.itl.nist.gov/div898/handbook/eda/section3/eda35e.htm [4] https://www.itl.nist.gov/div898/handbook/eda/section3/eda35f.htm [5] https://en.wikipedia.org/wiki/Permutation_test [6] https://docs.seldon.io/projects/alibi-detect/en/latest/cd/methods/mmddrift.html [7] https://docs.seldon.io/projects/alibi-detect/en/latest/cd/methods/lsdddrift.html

Обнаружение дрейфа

Прямое измерение Model Drift

Косвенное измерение Model Drift

Обнаружение. Статистики.

Обнаружение. Статистические тесты.

Сезонность