Типы дрейфа

Погорелов Петр — ML Engineer

Model Drift

С течением времени распределение случайных величин (целевая величина, описательные признаки) - может меняться. На картинке ниже представлено распределение одной случайной величины в разные моменты времени (при обучении модели и спустя 14 дней после развертывания в проде).

Мы с вами обсудили понятия операционного мониторинга и мониторинга явления Model Drift. Давайте теперь полностью сфокусируемся на проблеме Model Drift’a и ее природе и проявлениях. И так, зафиксируем для себя два момента времени - момент обучения модели, и один из моментов инференса модели. В оба момента времени мы работаем с данными, которые могут быть порождены разными распределениями.

Первое распределение можно назвать исходным (source distribution), и при обучении модели мы используем выборку из этого распределения. Второе распределение мы можем обозначить как целевое распределение (target distribution), и на целевом распределении выполняется инференс модели.

Как правило, чем больше прошло времени между моментом обучения и моментом инференса, тем сильнее характеристики этих двух распределений расходятся. Расхождение распределений может быть как плавным - в случае постепенного смещения харакретистик распределения с течением времени, так и скачкообразно - если в модель начали подавать данные из другой генеральной совокупности.

Описанное явление, как правило, приводит к видимому проявлению Model Drift’a - деградации качества модели и падении целевых метрик. Давайте рассмотрим простенький пример Model Drift’a.

Model Drift на примере моделирования ВВП РФ

Возьмем для примера задачу предсказания ВВП России по паритету покупательской способности, динамика которого представлена на картинке. Предположим, что наша модель обучена на периоде спада экономики, который обозначен синим интервалом. Модель, обученная на этом периоде скорее всего зафиксирует ниспадающий тренд ВВП и вряд ли покажет высокую предсказательную силу после изменений, которые привели к взрывному росту в начале нулевых.

Например, если бы мы использовали линейную авторегрессионную модель, то ее коэффициент был бы меньше единицы по отношению к предыдущему периоду. И, как следствие, ниспадающий тренд был бы в нее запрограммирован, она не могла бы демонстрировать хорошее качество на периоде роста ВВП.

No notes on this slide.

Типы дрейфа Погорелов Петр — ML Engineer

Типы дрейфа

Model Drift

Model Drift на примере моделирования ВВП РФ

Типы Model Drift’a

Data Drift

Пример Covariate Shift (1)

Пример Covariate Shift (2)

Concept Drift

Пример Concent Drift

Изменение описательных признаков и целевой величины

Пример использование Pydantic для валидации входных данных