«Тактика распила PHP-монолита» — Лакосников Павел, Авито

Павел Лакосников Senior engineer, юнит Antimonolith Тактика распила монолита

!2 Из монолита в микросервисы

Монолит 3 года назад !3

!4 Как выглядел монолит 3 года назад: 2.6к файлов и
200к строк PHP 1.5к html файлов 1к+ файлов js, lua, python, perl ServiceRegistry + Global как основные способ работы с базой Разветвлённая многоуровневая система наследования

!5 Как выглядел монолит 3 года назад: 2.6к файлов и
200к строк PHP 1.5к html файлов 1к+ файлов js, lua, python, perl ServiceRegistry + Global как основные способ работы с базой Разветвлённая многоуровневая система наследования

Он работал! !6

!7 Это был местами читаемый и неплохой код

!8 Он был надёжен

!9 Он был надёжен,  если работал

!10 Он работал очень быстро

!11 Чем же он нам мешал?

!12 Не позволял быть гибкими

!13 Не позволял быть гибкими Не позволял командам быстро внедрять
изменения, не вызывая «эффект лавины»

изменения, не вызывая «эффект лавины» Не позволял экспериментировать

изменения, не вызывая «эффект лавины» Не позволял экспериментировать Гигантскими тяжелыми моделями

!16 Начинаем распиливать…

Вендоризация !17

!18 Как выглядел код в монолите

!19 Пример сессий: Роутеры

!20 Пример сессий: Бэкофис

!21 Пример сессий: Авторизация

!22 Пример сессий: Мессенджер

!23 Пример сессий: Наследники

!24 Вендоризация 1. Собираем код в отдельный пакет 2. Прогоняем
статический анализатор 3. Пишем тесты 4. Подключаем к монолиту как внешнюю библиотеку

!25 Зачем? 1. Контроль за изменениями 2. Изоляция всех внешних
зависимостей 3. Одинаковое поведение у всех потребителей

!26 Как не надо делать

!27 Не писать тесты на перенесённый код

!28 Просто копировать файлики

!29 Переносить все в одну библиотеку

Вынос словарей !30

!31 Что именно Список городов Список районов Список категорий Список
микрокатегорий

!32 Зачем? Это корневые зависимости, нужные не только в монолите,
но и в большинстве сервисов

но и в большинстве сервисов Фиксация констант, интерфейсов

но и в большинстве сервисов Фиксация констант, интерфейсов Контроль за их изменением

но и в большинстве сервисов Фиксация констант, интерфейсов Контроль за их изменением Доступность для любых сервисов

!36 Как именно? Вендоризовали интерфейсы всех словарных сущностей, все константы

Отделили базу данных, хранящих словарные сущности

Отделили базу данных, хранящих словарные сущности Сделали микросервис, способный отдавать словарные данные в куче форматов

Отделили базу данных, хранящих словарные сущности Сделали микросервис, способный отдавать словарные данные в куче форматов Доработали сборку монолита, добавив этап сборки словарей

Уменьшение глубины наследования !41

!42 Глубина наследования классов достигала 8 уровней

!43 Controller_Site_Proﬁle_Settings_Ru

!44 Расширение ответа по цепочке от наследников к родителю

!45 На вход в метод отрисовки объявления $expandedItem = [
'id' => $itemId, 'category' => [ 'id' => $itemCategory->id, 'name' => $itemCategory->name ] ];

!46 На выходе из цепочки 6 килобайт полезных данных 150
различных полей

!47 В самом конце … if ($item->isOnModerate()) { return $this->notFound();
} ];

!48 Проблемы Трудно рефакторить Легко задеть чужую функциональность Избыточность данных

!49 Что вообще происходит?

!50 Как именно? Диаграммы вызовов в разрезе запроса

!51 Как именно? Диаграммы вызовов в разрезе запроса Вдумчивый и
внимательный рефакторинг

!52 NO SILVER BULLET

Классы вместо массивов !53

!54 Что именно? Многие сущности представлялись в коде как большие
массивы с данными

массивы с данными Эти массивы передаются из метода в метод, по цепочке

массивы с данными Эти массивы передаются из метода в метод, по цепочке В процессе дополняются, расширяются и декорируют

!57 Зачем? Больше типизации => меньше ошибок

!58 Зачем? Больше типизации => меньше ошибок Понимание, какие поля
и где используются

!59 Зачем? Больше типизации => меньше ошибок Понимание, какие поля
и где используются Удаление неиспользуемых или устаревших полей

!60 Как именно? Создаем простейшую модель Item {id, title}

!61 Как именно? Создаем простейшую модель Item {id, title}

!62 Как именно? Постепенно расширяем её, создавая новые типы данных
(Price, Contacts) и сокращая объем $data

Сделали маленькие модели !63

!64 Что именно? На прошлом этапе у нас получились большие
модели

!65 Объявление в поиске

!66 Страница объявления

!67 Объявление в чужом профиле

!68 Объявление в своём профиле

!69 Изначально везде была одна модель

!70 Проблемы Огромная холостая нагрузка на сеть

!71 Проблемы Огромная холостая нагрузка на сеть Низкая надежность

!72 Проблемы Огромная холостая нагрузка на сеть Низкая надежность Сложность
тестирования

!73 Проблемы Огромная холостая нагрузка на сеть Низкая надежность Сложность
тестирования Невозможность создать микросервис, отвечающий только за часть свойств этой модели

!74 Как именно? Выделили десятки интерфейсов из большой модели

!75 Как именно? Выделили десятки интерфейсов из большой модели Разбили
одну большую модель на множество маленьких

!76 Как именно? Выделили десятки интерфейсов из большой модели Разбили
одну большую модель на множество маленьких Сделали отдельные фабрики для каждой из них

Перешли на DataMappper вместо ORM !77

!78 Что именно? Вызовы хранимок на получение данных из самых
разных места монолита

разных места монолита Сохранение моделей в отличном от создания месте

разных места монолита Сохранение моделей в отличном от создания месте Разные алиасы у полей, и способы получения данных

!81 Достаем item[100] из базы

!84 Проблемы Большая глубина наследования на классах занимающихся работой с
моделью

!85 Проблемы Большая глубина наследования на классах, занимающихся работой с
моделью Большое количество входных похожих точек, вызывающих работу с моделью

!86 Проблемы Большая глубина наследования на классах занимающихся работой с
моделью Большое количество входных похожих точек, вызывающих работу с моделью Неконсистентность вызовов

!87 Как именно? Переход на dataMapper модель

!88 Как именно? Переход на dataMapper модель Подстройка публичного интерфейса
под нужды конкретных потребителей

!89 Как именно? Переход на dataMapper модель Подстройка публичного интерфейса
под нужды конкретных потребителей Инкапсулюяция всей логики базы связанной с сущностью в одном месте

Отказались от поддержки старых приложений !90

!91 Что именно? Большой хвост из старых версий мобильных приложений

!92 Что именно? Большой хвост из старых версий мобильных приложений
Большое десктоп-апи, которые не чистили раньше

!93 Проблемы Старые методы ожидали очень большие модели данных, избыточные
для их работы

для их работы Часть запросов использовались исключительно ботами

для их работы Часть запросов использовались исключительно ботами Часть запросов были «мертвыми»

для их работы Часть запросов использовались исключительно ботами Часть запросов были «мертвыми» Осложняли рефакторинг

!97 Как именно? Сделали метрики по использованию API

!99 Как именно? Сделали метрики по использованию API Сверились c
ними

!101 Как именно? Сделали метрики по использованию API Сверились c
ними Отказались от поддержки версий приложений с минорным трафиком

!102 Начали делать это регулярно

Перешли на Redis !103

!104 Что именно? В проекте было несколько коммунальных мемкешей Использовались
они для кратковременного кеширования

!105 Проблемы Перетирали ключи в разных потребителях

!106 Проблемы Перетирали ключи в разных потребителях Автоматически конвертит классы
через php_serialize (круто, когда класс переименовали а кэш нет)

через php_serialize (круто, когда класс переименовали а кэш нет) Не перистентен

через php_serialize (круто, когда класс переименовали а кэш нет) Не перистентен Общие политики вытеснения для всех

!109 Как именно? Плавно заменили несколько мемкешей на большую пачку
персистентных Redis

персистентных Redis Выделили отдельные обертки под отдельные Redis

персистентных Redis Выделили отдельные обертки под отдельные Redis Разделили потребителей каждый по своему Redis’у

!112 Их еще и из монолита легче вытащит

Что же стало с монолитом? !113

!114 Монолит не распилен

!115 Он даже увеличился

!116 13к файлов PHP 554к строк PHP

!117 ≈ 300микросервисов ≈ 1500 репозиториев

!118 Перешли на   PHP 7.4

!119 Что изменилось

!120 implode (string $glue , array $pieces ) Раньше порядок
аргументов не имел значения Было implode (string $glue, array $pieces): string implode (array $pieces, string $glue): string Стало implode (string $glue, array $pieces): string

!121 Внедрили DI

!122 Добавили литеры Php-stan Php-cs Route-checker Сrontab-checker Проверка схемы ответов
API Линтер на examples ответов API Валидация контраков

!123 Добавили литеры Php-stan Php-cs Route-checker Сrontab-checker Проверка схемы ответов
API Линтер на examples ответов API Валидация контраков

!124 У нас появился service-price-formatter

!125 Сервис форматирующий цену

!126 Да, это stateless сервис, просто форматирующий цену

!127 Он утилизирует 40 ядер

!128 Мы его удалили

Декомпозируй правильно! !129

Почти конец !130

!131 Чтобы распилить монолит…

!132 Не делайте price-formatter

!133 Избавьтесь от Dependency Hell

!134 Увеличьте покрытие тестами и литерами

!135 Откажитесь от ORM,   ServiceRegistry и Global’ов

Павел Лакосников Senior engineer, юнит Antimonolith facebook: https://www.facebook.com/shaman.s.bubnom telegram: shaman_s_bubom

«Тактика распила PHP-монолита» — Лакосников Павел, Авито

«Тактика распила PHP-монолита» — Лакосников Павел, Авито

More Decks by Badoo Tech

Other Decks in Programming

Featured

Transcript