MLOps Data science knowledge - Mlflow трекинг экспериментов

Компоненты MLflow

Основной раздел: Mlflow tracking
- сохранение и просмотр экспериментов, запусков циклов обучения модели
- сохранение мета информации, параметры моделей и прочего
MLflow models: сериализация и деплой моделей ML
MLflow projects: создание окружения и запуск моделей для инференса
MLflow model registry: централизованный сервис для хранения моделей и мета информации

Поговорим про инструмент MLflow, как можно несколько экспериментов сравнивать в одном месте, особенно если эти эксперименты проводят разные люди. MLflow состоит из 4 компонент.

Самая интересная - Mlflow tracking, именно в ней мы трекаем эксперименты и с помощью дашборда просматриваем. Если известны такие инструменты как tensorboard или wandb, то принцип будет знакомый - в общем месте просматриваем результаты, привязанные к конкретному эксперименту
В models секции полученные модели mlflow поддерживает простую докер обертку для деплоя моделей
projects задает свой формат с которым можно разворачивать окружение, поддерживается conda, virtualenv, более продвинутые инструменты как poetry/pdm - нет
model registry - сервис для сохранения моделей, через него можно получать сохраненные обученные модели, если поднимать самому инстанс mlflow на отдельном сервере

Конфигурации использования

Mlflow позволяет иметь несколько конфигураций. Мы будем для демонстраций использовать первую, где мы локально поднимем инстанс mlflow, а также все файлы будут сохранены локально.

Mlflow позволяет настроить сохранение не только локально, но и в отдельную базу.

Когда команда большая, то здесь уже необходимо разделять эксперименты и с локального устройства пушатся только изменения(по аналогии с git), в таком случае развернут отдельный инстанс mlflow, как единая точка синхронизации для команды. С опять же настраиваемыми способами, как сохранить модели и метаданные.

Пример использования

import mlflow

mlflow.set_tracking_uri("http://127.0.0.1:8080") # Подключение к серверу
mlflow.set_experiment("experiment_name") # Название текущего эксперимента

with mlflow.start_run(run_name="run_name"): # Текущий запуск(run) для трекинга
    ...
    mlflow.log_artifact(model, 'pretrained/model/path') # сохранение артефакта(файла)
    mlflow.log_params(model.get_params()) # параметры важные для запуска
    mlflow.log_metrics({"val_f1": val_f1}) # достигнутые метрики

    signature = infer_signature(X_test.toarray(), model.predict(X_test))
    mlflow.sklearn.log_model(model, "my_model", signature=signature) # логирование простых моделей

Пройдемся по основным моментам кода. Везде все подписано, добавлю, что в infer_signature mlflow выявляет только типы, которые приходят в модель в финале.

Экспериментом в рамках MLFlow мы считаем некоторую группировку нескольких исследований. Я под исследованием понимаю разовую законченную работу по изучению данных, т.е. проверка конкретных гипотез.

Эксперимент в Mlflow это тег, к которому как я понял, лучше привязывать модели, т.к. их уже можно оценивать. В рамках этого тега можно проводить уже разные исследования, которые привязаны к тегу.

Мне видится, что лучше всего привязывать тип данных к этому тегу - далее посмотрим уже на конкретном примере. Когда мы привязываем данные, то можем вытягивать больше метрик из текущего сеттинга.

Если данные поменялись, то тогда можно заводить новый MLflow эксперимент.

Демо

Сравнение экспериментов: текстовая классификация Sentiment Analysis

Рассмотрим простую векторизацию на основе TF-IDF
Рассмотрим семантическую векторизацию на основе модели BERT

Заключение

Решение для трекинга командных экспериментов
Сравнение лучших моделей/подходов
API для простых кейсов сервинга моделей