MLOps Data science knowledge

Linters

Теперь давайте обсудим линтеры, что это такое, зачем их так много и посмотрим на что способны самые популярные из них.

Линтеры разбиваются на две группы: Logical и Stylistic.

Первая позволяет находить, паттерны опасного кода и потенциальное неоднозначное поведение. Стилистический линтеринг предназначен для проверки стилистических договоренностей.

Ruff - самый быстрый линтер на диком западе, все потому что он написан на rust
Pylint сложный и мощный анализатор. Который умеет многое из коробки.
Flake8 - это набор линтеров с большим количеством плагинов, который анализирует программу и ищет потенциальные ошибки
Bandit - проверка на безопасность кода, уязвимости в используемых библиотеках и прочее
MyPy - проверка типов на основе аннотаций
We make python styleguide и yala это преднастроеные наборы линтеров с плагинами что бы сделать ваш код как можно чище и читаемее.

Эти инструменты направлены на проверку соглашений по написанию кода, которые были заключены, на поиск плохих практик, ошибок.

Flake8 plugins

Хочется отметить среди линтеров flake8. Это по-настоящему мощный инструмент который объединяет в себе все другие за счет расширений и плагинов. Вы видите наиболее популярную часть плагинов и расширений для flake8.

То есть за счет компоновки плагинов вы можете настроить все необходимые вам инструменты в одной библиотеке и проверять все одной командой, при этом за вас соберут все дублирующиеся ошибки и варнинги и выведут в приоритетном порядке.

Если сравнивать с pylint это инструмент, который включает в себя сразу большое количество проверок, но не дает гибкого интерфейса для настройки и расширения проверок, то flake8 его во много выигрывает за счет огромной экосистемы плагинов, которые увеличивают его мощь и строгость.

Один из принципов python dzen звучит что complex is better than complicated. Это как раз и применимо в этом сравнении, составное лучше сложного.

Flake8 settings

[tool.flake8]
ignore = "E203,E266,H106,H904"
max-line-length = 88
max-complexity = 25

Ruff

И линтер и форматер в одном лице
Быстрее чем Flake8 и Black
Сопоставим с Flake8, isort, and Black
Интегрируем в VSCode

Mypy проверка типов

From Python…

def fib(n):
    a, b = 0, 1
    while a < n:
        yield a
        a, b = b, a+b

…to statically typed Python

def fib(n: int) -> Iterator[int]:
    a, b = 0, 1
    while a < n:
        yield a
        a, b = b, a+b

Как вы знаете в питоне есть аннотации типов. Mypy использует для статической проверки типов и собственно проверяет везде ли и корректно ли они указаны.

Mypy имеет мощную современную систему типов с такими функциями, как двунаправленный вывод типов, обобщения, вызываемые типы, абстрактные базовые классы, множественное наследование и типы кортежей.

Зачем это DS? У них же один dataframe или numpy array. На самом деле такой подход увеличивает читаемость кода, сразу понятно какой dataframe к вам пришел, какие столбцы в нем есть и каких типов. Есть разные библиотеки для этого, например, pandera, но об этом мы поговорим позже.

Основная цель добавления статической типизации или аннотирования типов заключается в повышении читаемости, вам и вашим коллегам не придётся догадываться что и какого типа нужно передать той или иной функции. Да и такой подход позволит избавится от части ошибок, которые вы можете допустить в коде.

Code linters

Linters

Flake8 plugins

Flake8 settings

Ruff

Mypy проверка типов