Graceful degradation testing: тестирование частичной недоступности

Graceful Degradation testing

Transcript

1. Graceful degradation testing: тестирование частичной недоступности Крючков Фрол @Авито
10. Graceful degradation — это ряд мер, которые направлены на улучшение доступности системы при отказе ее части
16. ~60 сервисов Участвуют в формировании карточки объявления
25. Directed Acyclic Graph Архитектура должна по возможности представлять DAG
28. Определить критический сервис, без которого невозможно отобразить сколько-то релевантную страницу для пользователя
30. Обеспечить кратчайший путь до критически важного сервиса
32. Коммуникации Еще одна проблема, которая усложняет поддержание микросервисной архитектуры
34. В функциональных командах в монолитной архитектуре Из-за большого объема коммуникаций Time to market растет, при этом инженерная экспертиза распространяется естественно
36. В кросс-функциональных командах За счет автономности команд как коммуникативных так и технических time to market падает, но страдает обмен экспертизой между командами
38. Кто ответственен за всю систему?
39. Платформенные команды
40. Причины и симптомы аварий
42. 1. Чрезвычайное происшествие
47. Service unavailable
48. 2. Изменение в профиле нагрузки
53. Service unavailable
54. 3. Изменение в продукте или инфраструктуре
56. Что делать, чтобы не допустить каскадный отказ
57. 1. Отдать частичный результат, чтобы пользователь продолжать пользоваться сайтом и чтобы не спровоцировать цепочный отказ пользовательского запроса
58. 2. Отказ внешней зависимости не должен выводить из строя сервис Чтобы не допустить каскадный отказ микросервисов
59. 3. Сервис должен уметь работать с превышающей нагрузкой Чтобы не допустить отказ микросервера
60. Какие бывают методологии
77. Тестирование некритических зависимостей в Авито
78. public function testItemPage() { $this ->getReport() ->addPrecondition('Деградировать сервис u8r до 503-ей ошибки.'); $serviceMock = $this ->resourceFactory() ->gracefulDegradation(); $serviceMock->degradeService('u8r', BEHAVIOR_CODE_503);
79. public function testItemPage() { $this ->getReport() ->addPrecondition('Деградировать сервис u8r до 503-ей ошибки.'); $serviceMock = $this ->resourceFactory() ->gracefulDegradation(); $serviceMock->degradeService('u8r', BEHAVIOR_CODE_503);
80. public function testItemPage() { $this ->getReport() ->addPrecondition('Деградировать сервис u8r до 503-ей ошибки.'); $serviceMock = $this ->resourceFactory() ->gracefulDegradation(); $serviceMock->degradeService('u8r', BEHAVIOR_CODE_503);
81. public function testItemPage() { $this ->getReport() ->addPrecondition('Деградировать сервис u8r до 503-ей ошибки.'); $serviceMock = $this ->resourceFactory() ->gracefulDegradation(); $serviceMock->degradeService('u8r', BEHAVIOR_CODE_503);
82. $this ->getReport() ->attach($item, 'Объявление'); $this ->getReport() ->addStep('Открыть страницу объявления.'); $itemView = Stage_Item_View::create($this) ->setItem($item) ->open();
83. $this ->getReport() ->attach($item, 'Объявление'); $this ->getReport() ->addStep('Открыть страницу объявления.'); $itemView = Stage_Item_View::create($this) ->setItem($item) ->open();
84. $this ->getReport() ->attach($item, 'Объявление'); $this ->getReport() ->addStep('Открыть страницу объявления.'); $itemView = Stage_Item_View::create($this) ->setItem($item) ->open();
85. $this ->getReport() ->attach($item, 'Объявление'); $this ->getReport() ->addStep('Открыть страницу объявления.'); $itemView = Stage_Item_View::create($this) ->setItem($item) ->open();
86. 1. Read timeouts 2. 504 3. 500 4. To many requests 5. Invalid schema
87. Техническая реализация
101. Что получили
102. • Гарантию работоспособности системы при отказе некритических зависимостей • Повышение стабильности при overloaded • Повышение стабильности e2e-тестов
103. • Узнали про технические и коммуникационные трудности микросервисной архитектуры • Рассмотрели причины аварий и их последствия • Рассмотрели, как последствия ведут к каскадным отказам • Узнали, что бывают proactive-методологии и reactive- методологии для решения каскадных отказов микросервисной архитектуры • Рассмотрели одно из техническое решение в Авито для тестированию not critical dependencies
104. Спасибо за внимание https://twitter.com/frolk https://www.facebook.com/public/Frol-Kryuchkov