Переход к SoA архитектуре

Антон Плешивцев

Transcript

1. Переход к SoA архитектуре Антон Плешивцев twitter.com/allaud github.com/allaud aviasales.ru
2. Как это работает?
3. Intro • 20 000 запросов в час • 13 гигабайт данных в минуту • 6000+ билетов в сутки • 60 одновременных запросов
4. Legacy • 1 RoR приложение • Множество функций • Поиск • Сбор статистики • Сбор информации о ценах • Рассылки • …
5. RoR search • 350 mb памяти на процесс • Blocking io • Запуск Rails-приложения до 15 секунд
6. Что с поддержкой? • Неявность Ruby • Дорогая процедура добавления гейтов • Высокий порог вхождения
7. Что делать?
8. Вариант #1 Оставить как есть 0 175 350 525 700 Июль Август Сентябрь Октябрь Ноябрь Декабрь
9. Вариант #2 Глобальный рефакторинг
10. Вариант #3 Сменить часть система на Sinatra • Система остается сильно связанной • Много неявного
11. Наш рецепт • Больше явности • Легкий движок • DSL для конфигурирования • RESTful-компоненты • SoA-архитектура
12. SoA: сервисы вместо классов params validator countries_extender OzonGate EviterraGate OneTwoTripGate merge throttler
13. Поддерживаем DSL {"rt_search": { "s": [ "params_validator" "countries_extender", { "p": [ {"s": ["ozon_gate"]}, {"s": ["eviterra_gate"]}, {"s": ["onetwotrip_throttler","onetwotrip_gate"]}] }, "merge" ]}};
14. Юнит - основа системы OneTwoTripGate throttler def throttler(request, config): if random() <= config: return request else: return None
15. Как работает юнит? places_extender set_conf config get_conf raw request extended request
16. DSL последовательных вычислений A B C "s": [ «A», «B», «C» ]
17. DSL параллельных вычислений A D "s": [ «A», {«p»: [ {«s»: «B»}, {«s»: «C»} ]}, «D» ] B C
18. DSL отложенных вычислений A "s": [ «A», {«d»: [«B»]}, «C» ] B С delayed
19. Прикладной пример sqrt(add(a,b)) add sqrt [19, 6] 5
20. Прикладной пример #2 (…) add [2, 3, -15] ? (345 - 99 * a) + (77 + 234 * b) + c add 5 (…)
21. Данные в системе • Справочники • курсы валют • аэропорты • Логи • поиски • клики • Динамические данные • диплинки • результаты поиска
22. Справочники • ФС или kyotocabinet, mmap для экономии памяти • Синхронизация данных - inotify • Синхронизация внутри кластера - rsync
23. Логи • Не работаем с глобальным хранилищем • Работаем с хранилищем в пределах узла
24. Динамические данные • Быстрое key-value хранилище • Избыточность во имя отказоустойчивости
25. Технологии? • Python3 • Tornado 3.1.1 • Файловая БД kyotocabinet • Redis
26. Как устроен кластер Redis MySQL Rabbit MQ Redis
27. Сценарий отказа #1 Redis Redis
28. Сценарий отказа #2 Redis MySQL Rabbit MQ Redis
29. Сценарий отказа #3 MySQL Rabbit MQ Redis
30. Сценарий отказа #4 MySQL Rabbit MQ Redis
31. Yasen infrastructure MyS Rab Redi
32. Итого • С системой может работать не программист • Отладка упростилась в разы • Система разворачивается двумя командами • Экономия на ресурсах
33. About Антон Плешивцев ! twitter.com/allaud github.com/allaud https://www.facebook.com/ant.pl.3 ! aviasales.ru