MLOps Data science knowledge

DVC

Manage and version images, audio, video, and text files in storage and organize your ML modeling process into a reproducible workflow.

DVC — это средство управления версиями данных , автоматизации рабочих процессов машинного обучения и управления экспериментами , использующее преимущества существующего набора инструментов для разработки программного обеспечения, с которым вы уже знакомы (Git, ваша IDE, CI/CD и т. д.). DVC помогает специалистам по обработке данных и машинному обучению управлять большими наборами данных, обеспечивать воспроизводилось проектов и улучшать совместную работу.

В этом стараются нас убдеить авторы проекта.

DVC modules

Архитектура DVC

DVC storages

Amazon S3 (AWS) and S3-compatible e.g. MinIO
Microsoft Azure Blob Storage
Google Cloud Storage (GCP)
Google Drive
Aliyun OSS
SSH & SFTP (like scp)
HDFS & WebHDFS
HTTP
WebDAV

Использование

Инициализация dvc репозитория

dvc init
git commit -m "Initialize DVC"

Добавление данных

dvc add data/data.csv
git add data/data.csv.dvc data/.gitignore
git commit -m "Add raw data"

Обновление данных

dvc commit
git commit -m "Change data"

Добавление хранилища

dvc remote add -d --project gdrive gdrive://<url>
git add .dvc/config
git commit -m "Configure remote storage"

Отправка в хранилище

dvc push

Выгрузка из хранилиища

dvc pull

Переключение между версиями

git checkout <git-reversion>
dvc checkout

CI-CD

Так как мы в команде используем dvc, то уделим ему чутка побольше времени. Например тому как его можно встроить в CI.

Мы достаточно много сил вкладываем в развитее компетенции MlOps в команде. Одним из инструментов, который качественно улучшил процесс работы - DVC

Вообще зачем нужен CI-CD в DS проектах?

Во-первых, мы можем автоматизировать и принудительно проводить тестирование. Ну не совсем тестировать, скорее проводить smoke test проведенных исследований. Проверять воспроизводиться они или нет.

Проверка данных: мы можем проверить, что после запуска скриптов мы получили те же данные. Более сложные проверки - проверка по схеме или проверка согласованности конвейера — правильные формы, типы данных и т. д.
Проверка модели: Опять же проверить, что модель осталась идентичной после исполнения скриптов. Так же есть более сложные проверки, например оценка качества на отложенной выборке, проверка воспроизводимости и тд.

Во-вторых, мы можем организовать поставку моделей и отчетов. Так как мы можем версионирвоать все метрики и результаты, то сгенерировать отчет очень просто. Забегая вперед, dvc позволяет генерировать отчеты об экспериментах, но это подробнее разберем позже.

Что же делает тут DVC - устраняет необходимость в создании баз данных версий, использовании специальных структур файлов/папок или написании специального кода интерфейса. Без DVC пришлось бы строить свою систему версионирования артефактов и пытаться ее привязать к результатам исполнения. Вместо этого DVC хранит метаинформацию в Git («кодирование» данных и моделей машинного обучения), в то же время отправляя фактическое содержимое данных в облачное хранилище. DVC также обеспечивает управляемую метриками навигацию в репозиториях Git.

DVC live

from dvclive import Live

with Live() as live:
    live.log_param("epochs", NUM_EPOCHS)

    for epoch in range(NUM_EPOCHS):
        train_model(...)
        metrics = evaluate_model(...)
        for metric_name, value in metrics.items():
            live.log_metric(metric_name, value)
        live.next_step()

DVC api

import dvc.api
with dvc.api.open(
    'get-started/data.csv',
    repo='https://github.com/iterative/dataset-registry'
) as f:
    # ... f is a file-like object

DVC pipelines

Pipeline

stages:
  prepare: ... # stage 1 definition
  train: ... # stage 2 definition
  evaluate: ... # stage 3 definition

Stage

stages:
  prepare:
    cmd: source src/cleanup.sh
    deps:
      - src/cleanup.sh
      - data/raw
    outs:
      - data/clean.csv

Конвейеры представляют рабочие процессы данных, которые вы хотите надежно воспроизвести , чтобы результаты были согласованными. Типичный процесс конвейерной обработки включает в себя: - Добавить исходные данные в dvc - Определить этапы пайплайна - stages - Добавить выходные данные и дополнительные данные, например метрики, графики и параметры.

Stages обычно берут некоторые данные и запускают некоторый код, создавая выходные данные (например, модель ML). Конвейер формируется путем их взаимозависимости, что означает, что выходные данные одного этапа становятся входными данными другого и так далее. Технически это называется графом зависимостей (DAG).

Каждый этап обертывает исполняемую команду оболочки и определяет любые файловые зависимости , а также выходные данные . Давайте посмотрим на примерный этап: он зависит от файла скрипта, который он запускает, а также от необработанных входных данных (в идеале уже отслеживаемых DVC).

Stage parametrs

stages:
  train:
    cmd: ...
    deps: ...
    params: # from params.yaml
      - learning_rate
      - nn.epochs
      - nn.batch_size
    outs: ...

Более детализированным типом зависимости является параметр (params поле dvc.yaml) или гиперпараметры в машинном обучении. Это любые значения, используемые внутри вашего кода для настройки обработки данных или иным образом влияющие на выполнение этапа. Например, для обучения нейронной сети обычно требуются значения batch size и epochs count

Вместо того, чтобы жестко задавать значения параметров, ваш код может считывать их из структурированного файла (например, в формате YAML). DVC может отслеживать любую пару ключ/значение в файле поддерживаемых параметров (params.yaml по умолчанию).

Stage outputs

Files
Metrics
Plots

Выходные данные этапа — это файлы (или каталоги), полученные после исполнения пайплайна, например модели машинного обучения, промежуточные артефакты, а также графики и метрики. Эти файлы кэшируются DVC автоматически и отслеживаются с помощью dvc.lock файлов (или .dvc файлов).

Выходы могут быть зависимостями последующих этапов (как объяснялось ранее). Поэтому, когда они изменяются, DVC может также потребоваться воспроизвести последующие этапы (обрабатывается автоматически).

Типы выходов:

Файлы и каталоги: обычно данные для передачи на промежуточные этапы, а также окончательные результаты пайплайна (например, набор данных или модель машинного обучения).
Метрики : DVC поддерживает небольшие текстовые файлы, которые обычно содержат метрики производительности модели на этапах оценки, проверки или тестирования жизненного цикла машинного обучения. DVC позволяет сравнивать полученные метрики друг с другом с помощью dvc metrics diff и представляет результаты в виде таблицы с помощью dvc metrics show или dvc exp show.
Графики : различные виды данных, которые можно изобразить в виде графика. Например, сравните статистику производительности машинного обучения или непрерывные показатели из нескольких экспериментов. dvc plots show может создавать диаграммы для определенных файлов данных или отображать для вас пользовательские файлы изображений, или вы можете сравнивать разные файлы с файлами dvc plots diff.

Pros&Cons

Pros

Не зависит от языка
DAG на основе файлов
Правила рядом с кодом
Простая параметризация
Yaml формат
Вресионирование результатов
Мониторинг эксперимента

Cons

Сложное разбиение на модули
DAG deps пишутся вами
Нет виртуальных окружений
Нет ограничений на ресурсы
Нет распределенных вычеслений