Монолит + микросервисы = любовь

Slide 1

Slide 1 text

МОНОЛИТ + МИКРОСЕРВИСЫ = ❤ Филипенко Максим

Slide 2

Slide 2 text

mymarilyn.ru

Slide 3

Slide 3 text

Что было

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

Просто

Slide 6

Slide 6 text

Зачем менять?

Slide 7

Slide 7 text

Проблемы монолитов

Slide 8

Slide 8 text

• Кодовая база растет, её становится сложнее тестировать и поддерживать Проблемы монолитов

Slide 9

Slide 9 text

• Кодовая база растет, её становится сложнее тестировать и поддерживать • Связность между модулями может вызывать неожиданные баги Проблемы монолитов

Slide 10

Slide 10 text

Slide 11

Slide 11 text

• Кодовая база растет, её становится сложнее тестировать и поддерживать • Связность между модулями может вызывать неожиданные баги • Новым разработчикам сложно разобраться с проектом • Выкатка занимает много времени (тесты!) Проблемы монолитов

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Python 2.7

Slide 14

Slide 14 text

Python 2.7

Slide 15

Slide 15 text

И всё?

Slide 16

Slide 16 text

Неразрешимые проблемы

Slide 17

Slide 17 text

• Переиспользование общей логики между командами с разным стеком Неразрешимые проблемы

Slide 18

Slide 18 text

• Переиспользование общей логики между командами с разным стеком • Использование несовместимых технологий Неразрешимые проблемы

Slide 19

Slide 19 text

Что мы стали использовать

Slide 20

Slide 20 text

Python 3.6+

Slide 21

Slide 21 text

Внутренние пакеты

Slide 22

Slide 22 text

• Где хранить Внутренние пакеты

Slide 23

Slide 23 text

• Где хранить • Как именовать Внутренние пакеты

Slide 24

Slide 24 text

• Где хранить • Как именовать • В каком случае нужно создавать Внутренние пакеты

Slide 25

Slide 25 text

• Где хранить • Как именовать • В каком случае нужно создавать • Версионирование Внутренние пакеты

Slide 26

Slide 26 text

• Где хранить • Как именовать • В каком случае нужно создавать • Версионирование • Changelog изменений Внутренние пакеты

Slide 27

Slide 27 text

deploy_pypi: stage: deploy only: - master script: … - echo "repository="$PYPI_REPO_URL >> ~/.pypirc - echo "username="$PYPI_USER >> ~/.pypirc - echo "password="$PYPI_PASSWORD >> ~/.pypirc - python3 setup.py sdist bdist_wheel upload -r pypi-internal Внутренние пакеты Тестируются и загружаются в локальный PyPI через Gitlab CI

Slide 28

Slide 28 text

Docker

Slide 29

Slide 29 text

Docker-compose

Slide 30

Slide 30 text

services: app: image: development build: context: . dockerfile: ./docker/development/Dockerfile depends_on: - base links: - postgres - redis environment: - REDIS_URI=redis://redis:6379/0 ports: - "5000:80" command: flask run --host=0.0.0.0 --port=80 postgres: image: postgres:10.0 ports: - "55432:5432" redis: ...

Slide 31

Slide 31 text

$ git clone path-to-git-repo $ cd path-to-git-repo $ docker-compose up ... app_1 | Running command: flask run --host=0.0.0.0 --port=80 app_1 | * Running on http://0.0.0.0:80/ (Press CTRL+C to quit) app_1 | * Restarting with stat app_1 | * Debugger is active! Начало работы над проектом

Slide 32

Slide 32 text

Swagger

Slide 33

Slide 33 text

No content

Slide 34

Slide 34 text

Взаимодействие между сервисами

Slide 35

Slide 35 text

• HTTP JSON API Взаимодействие между сервисами

Slide 36

Slide 36 text

• HTTP JSON API • RESTful Взаимодействие между сервисами

Slide 37

Slide 37 text

• HTTP JSON API • RESTful • JWT Взаимодействие между сервисами

Slide 38

Slide 38 text

Gitlab

Slide 39

Slide 39 text

Gitlab CI или Jenkins?

Slide 40

Slide 40 text

stages: - build - test - cleanup - publish … test: stage: test script: - '$DOCKER_COMPOSE run app py.test -p no:cacheprovider’ publish master: stage: publish only: - master script: - 'docker build -f docker/base/Dockerfile -t $CI_REGISTRY_IMAGE/base-master .' ... - 'docker push $CI_REGISTRY_IMAGE/base-master' ...

Slide 41

Slide 41 text

Kubernetes

Slide 42

Slide 42 text

Тестирование Pytest + FactoryBoy

Slide 43

Slide 43 text

100% code coverage

Slide 44

Slide 44 text

Тестирование: проблемы

Slide 45

Slide 45 text

• Тестировать – сложно Тестирование: проблемы

Slide 46

Slide 46 text

• Тестировать – сложно • Написать хороший тест – еще сложнее Тестирование: проблемы

Slide 47

Slide 47 text

• Тестировать – сложно • Написать хороший тест – еще сложнее • 100% code coverage не гарантирует НИЧЕГО (особенно когда есть внешние API) Тестирование: проблемы

Slide 48

Slide 48 text

• Тестировать – сложно • Написать хороший тест – еще сложнее • 100% code coverage не гарантирует НИЧЕГО (особенно когда есть внешние API) • Сложная логика между сущностями Тестирование: проблемы

Slide 49

Slide 49 text

Тестирование: решение

Slide 50

Slide 50 text

• Не пытаться протестировать все возможные ответы площадок Тестирование: решение

Slide 51

Slide 51 text

• Не пытаться протестировать все возможные ответы площадок • На каждый endpoint должны быть тесты Тестирование: решение

Slide 52

Slide 52 text

• Не пытаться протестировать все возможные ответы площадок • На каждый endpoint должны быть тесты • Для имитации сетевого взаимодействия использовать mock и responses Тестирование: решение

Slide 53

Slide 53 text

• Не пытаться протестировать все возможные ответы площадок • На каждый endpoint должны быть тесты • Для имитации сетевого взаимодействия использовать mock и responses • Декларативное создание сущностей (FactoryBoy) Тестирование: решение

Slide 54

Slide 54 text

Slide 55

Slide 55 text

@pytest.fixture(scope="session") def session(db_fixture): db_fixture.session.begin() yield db_fixture.session db_fixture.session.remove() @pytest.fixture(scope="function") def transaction(session): session.begin(nested=True) try: yield session finally: session.rollback() @pytest.fixture(scope=“function") def mock_contextmanager(session): with patch('src.yourmodule.contextmanager') as mocked: mocked_context = MagicMock() mocked_context.__enter__.return_value = session mocked.return_value = mocked_context yield mocked

Slide 56

Slide 56 text

Новая функциональность: ⦿ монолит? ⦿ а может быть микросервис?

Slide 57

Slide 57 text

Когда НЕ НУЖНО заводить микросервис

Slide 58

Slide 58 text

• Нет понимания, что должен делать сервис Когда НЕ НУЖНО заводить микросервис

Slide 59

Slide 59 text

• Нет понимания, что должен делать сервис • Вынесение должно быть обоснованным Когда НЕ НУЖНО заводить микросервис

Slide 60

Slide 60 text

• Нет понимания, что должен делать сервис • Вынесение должно быть обоснованным • Если нужен простой CRUD Когда НЕ НУЖНО заводить микросервис

Slide 61

Slide 61 text

Что получилось

Slide 62

Slide 62 text

No content

Slide 63

Slide 63 text

Сложно

Slide 64

Slide 64 text

Стало ли хуже?

Slide 65

Slide 65 text

Минусы

Slide 66

Slide 66 text

• Связи между сервисами накладывают определенную сложность Минусы

Slide 67

Slide 67 text

• Связи между сервисами накладывают определенную сложность • Сложность и особенности предметной области никуда не делись Минусы

Slide 68

Slide 68 text

• Связи между сервисами накладывают определенную сложность • Сложность и особенности предметной области никуда не делись • Тулинг пока отстает Минусы

Slide 69

Slide 69 text

• Связи между сервисами накладывают определенную сложность • Сложность и особенности предметной области никуда не делись • Тулинг пока отстает • Администрирование стало сложнее Минусы

Slide 70

Slide 70 text

Плюсы

Slide 71

Slide 71 text

• Удалось добиться переиспользования логики между командами Плюсы

Slide 72

Slide 72 text

• Удалось добиться переиспользования логики между командами • Можно работать над задачами не вникая в старый код Плюсы

Slide 73

Slide 73 text

• Удалось добиться переиспользования логики между командами • Можно работать над задачами не вникая в старый код • Можно быстро вносить и выкатывать изменения Плюсы

Slide 74

Slide 74 text

• Удалось добиться переиспользования логики между командами • Можно работать над задачами не вникая в старый код • Можно быстро вносить и выкатывать изменения • Легко подбирать подходящий инструмент под конкретную задачу Плюсы