Процессы работы команд

Владислав Горбунов — Head of DS

О чем поговорим

  • Уровни процессов
  • Какие бывают компании с ML / DS
  • Модели оплаты команд и получение бюджета на проекты
  • Приоритезация проектов
  • Общий процесс реализации проектов с ML / DS
  • Проработка новой идеи и старт проекта
  • Модели и методологии
  • Операционная деятельность
  • Ретроспективы и развитие процессов работы
  • Как выстроить свой процесс работы

Уровни процессов

  • Управление компанией
  • Управление подразделением
  • Управление продуктом
  • Управление проектом
  • Управление командой / операционной деятельностью

Какие бывают компании c ML - командами

  • Продуктовые (зарабатывают на IT-сервисах, в т.ч. с ML)
  • Проектные (инхаус разработка, зарабатывают не на IT-сервисах)
  • Проектные (подрядные работы / аутсорс, зарабатывают на “продаже” людей)
  • Не IT (инхаус промпт-инжениринг, предобученные модели для популярных задач)
  • Исследовательские организации (финансирование из фондов)

Модели оплаты команд

  • Fixed Price - классический проектный подход
  • Time & Materials - оплата по факту выполненных работ
  • Мешок денег - инвестиция в функцию на период времени с ожидаемым возвратом инвестиций

Получение бюджета на проекты

  • Инвестиционный (проектный) комитет - вы не принимаете решения, только готовите материалы для защиты проекта и получения бюджета
  • Инвестиция на подразделение - вы получили бюджет на работу подразделения на период времени, сами приоритезируете какие проекты и в каком порядке будете делать
  • Приоритезация на стороне руководителя - вы не принимаете решения, можете попробовать убедить делать определенный проект

Как может происходить приоритезация проектов?

RICE

  • R – Reach (Охват): Сколько пользователей затронет проблема или гипотеза в определенный период времени.
  • I – Impact (Влияние): Оценка степени влияния на каждого пользователя (сколько денег / времени даст) / насколько может повлиять на OKR / доход компании или на таргет модели
  • C – Confidence (Уверенность): Уровень уверенности в данных / веры в гипотезу / в реальное существование проблемы / возможность достижения целевой метрики на аудитории.
  • E – Effort (Усилия): Оценка сложности / объема работы, необходимой для выполнения проекта.

Можно закодировать каждое из значений от 1 до 5, перемножить и отранжировать все идеи

RICE может также использоваться некоторыми командами для приоритезации гипотез

Пример RICE

Проверка гипотез и их приоритезация

Упрощенный подход (фин.моделирование):

  • Доход в месяц (охват * влияние или потенциальный доход * уверенность)
  • Расход в месяц * количество месяцев разработки + стоимость поддержки
  • Точка возврата инвестиций / накопленный доход на точку во времени

Приоритезация по планируемому накопленному доходу на точку во времени (или другому аналогичному KPI)

Как может происходить приоритезация проектов?

  1. Собрать все гипотезы
  2. Выбрать метрики соответствующие стратегическим целям компании / текущим вызовам / OKR / обратной связи пользователей, поддержки, продаж
  3. Отранжировать по RICE или упрощенному подходу
  4. Определить какая доступна специализация команды для выполнения задач / интерес для роста в новую специализацию
  5. Отрезать нужное количество задач, которые можно сделать за разумное время

Как выглядит работа над проектом?

  • Предварительная проработка (бизнес анализ) / Пред-проект / Старт проекта
  • Обзор и анализ существующих решений
  • Построение базового решения - эвристики / no-shot learning
  • Построение ML базового решения -  линейки / few-shot learning
  • Построение качественного ML решения - проведение исследований и разработки 
  • Подготовка документации об исследованиях и реализованных моделях
  • Внедрение результатов
  • Поддержка и развитие решения

Предварительная проработка проекта

  • Понять бизнес-цели (помочь заказчику их сформулировать)
  • Определить возможные подходы и решения по запросу от заказчика
  • Обозначить технологические пределы возможностей
  • Продумать риски
  • Повторно продумать и скорректировать бизнес-цели
  • Подготовить план работ по проекту
  • Получить деньги на работу по проекту

Как может выглядеть процесс проработки проекта

Вопросы для проработки проекта

Старт проекта

Проект успешно защищен, вы получили согласование от руководства на начало работ.

Как могут выглядеть процессы работы?

Ценности

Agile manifesto v1

  • Люди и взаимодействие важнее инструментов и процессов
  • Работающий продукт важнее исчерпывающей документации
  • Сотрудничество с заказчиком важнее согласованных заранее условий контракта
  • Готовность к изменениям важнее следования первоначальному плану

Agile manifesto v2

  • Командная работа и ответственность важнее отдельных людей и их взаимодействия, что важнее процессов и инструментов
  • Бизнес-ценность важнее работающего продукта, что важнее исчерпывающей документации
  • Построение партнёрства важнее сотрудничества с заказчиком, что важнее согласования условий контракта
  • Подготовка к изменениям важнее готовности к (реакции на) изменениям, что важнее следования первоначальному плану

Ценности

А если взять научный метод, можно сформулировать подобные ценности в компании:

  • Открытость важнее чем догматизм - Знания постоянно развиваются и открытость к новым идеям  и исправлению ошибок имеют большее значение, чем строгое придерживание устоявшихся теорий или методик.
  • Воспроизводимость важнее чем уникальность - Подтверждение результатов через воспроизводимость экспериментов ценится выше, чем однократные и уникальные результаты, которые нельзя повторить или проверить.
  • Критическое мышление важнее чем авторитет - Вопросы и сомнения в отношении данных, методов и выводов считаются более важными, чем слепое следование авторитетам или традициям. Это подчеркивает важность независимой оценки и проверки полученных результатов.
  • Прозрачность важнее секретности - Делиться методами, данными и результатами с научным сообществом (или хотя бы внутри компании) считается более важным, чем скрывать их. Это способствует коллективному прогрессу.