Введение

Погорелов Петр — ML Engineer

Деплой модели это финал?

Операционный мониторинг

За чем важно следить:

Программные и аппаратные ошибки
Состояние компонент сервиса
Доступность сервиса
Задержка ответа
Нагрузка на сервис
Соблюдение контракта (SLA)

Во-первых, вспомним что программное обеспечение может демонстрировать аномальное поведение, а именно - генерировать программные и аппаратные ошибки. Наш сервис, который предоставляет доступ к ML модели - тоже не защищен от этих проблем. Положим, что перед вызовом модели сервис выполняет предобработку данных. Код, который реализует эту бизнес-логику, - может содержать ошибки, которые важно отслеживать с целью последующего исправления.

Также сервису может потребоваться подтягивать дополнительные данные из зоопарка хранилищ данных. Например, из KV хранилища (Redis, Memcached), реляционной базы данных (Postgres, Mysql), лино NoSQL хранилища (Cassandra и др.). На этом этапе также могут возинкать ошибки связанные с изменением схемы данных, либо отказом удаленных сервисов. И эти ошибки нужно отслеживать чтобы оперативно на них реагировать.

Во-вторых, для того чтобы гарантировать пользователям качественную работу сервиса должен существовать специальный контракт (SLA), который определяет формат входных данных и время ответа сервиса. Нарушение SLA может сигнализировать о возникновении программных и аппаратных проблем. Мы, как владельцы модели, должны не только предоставлять пользователям удобным интерфейс для взаимодействия с моделью, но и контролировать его правильное использование. В противном случае, если возникнет ситуация GIGO (garbage in - garbage out), то с претензией придут именно к нам =).

В-третьих, нужно следить за нагрузкой на сервис. Если нагрузка начинает превышать аппаратный ресурс сервиса, то необходимо предпринимать шаги по вертикальному либо горизонтальному масштабированию. Если нагрузка ниже ожидаемой, то имеет смысл ужиматься по ресурсам.

Мониторинг Model Drift

Проявления:

С технической стороны: сервис работает стабильно, SLA соблюдается.
Со стороны бизнеса: качество выдаваемых сервисом результатов ухудшается с течением времени.

Как это выглядит:

Ну и в-четвертых, что выделяет ML сервисы от остальных - это возможность плавной либо резкой деградации без видимой причины. Это проблема дрейфа модели (или, в английской терминологии, которой мы будем придерживаться на протяжении курса - Model Drift’a). Данный термин означает деградацию предсказательной силы модели с течением времени под влиянием изменяющейся среды.

Это достаточно специфичная проблема, которая не характерна для обычных сервисов - они не деградируют с течением времени, и для поддержания их корректного функционирования может быть необходимо только следить за доступностью ресурсов, окружения, и соблюдением контракта.

Корень проблемы заключается в том, что когда мы обучаем модель машинного обучения - мы используем данные, представляющие собой выборку из некоторой генеральной совокупности, полученную в фиксированный временной интервал. Модель либо запоминает эти данные, либо обобщается на них.

Характеристики моделируемых объектов могут меняться с течением времени, и весьма вероятно что тех данных на которых модель обучалась - будет недостаточно для того чтобы продолжать эффективно работать на новых данных. Помимо этого, потребители ML сервиса могут начать отправлять аналогичные данные (данные, которые описываются теми же признаками), но эти данные взяты из другой генеральной совокупности. В таком случае модель также может демонстрировать деградацию качества. Например, модели перевода художественной литературы могли начать подавать техническую литературу.

Наша задача как разработчиков ML сервисов - поймать тот момент когда модель начинает деградировать и предпринять действия которые восстановят эффективность работы сервиса.

Ремарка по операционному мониторингу

Python пакеты для валидации входных данных:

Marshmallow
Pydantic

В рамках курса мы не будем погружаться в детали технического мониторинга ML сервиса, поскольку основной фокус нашего сегодняшнего занятия - мониторинг явления Model Drift. Тем не менее, считаю важным обозначить технологии, которые могут потребоваться для отслеживания соблюдения SLA.

Для валидации данных поступающих в сервис можно использовать библиотеки Marshmallow либо Pydantic. Для построения системы мониторинга состояния сервиса подойдут специализированные решения - Prometheus / Grafana, которые мы будем разбирать во время практической части курса.