Chaos Engineeringという考え方 / A concept of Chaos Engineering

Slide 1

Slide 1 text

Transform your business, transcend expectations with our technologically advanced solutions. Copyright © NTT Communications Corporation. All rights reserved. Mahito Ogura (2019/11/11) @Mahito Chaos Engineering という考え方

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © NTT Communications Corporation. All rights reserved. 6 システムの状態は関連するシステムの数に比例して指数関数的に増大するすべての状態を把握するのは不可能システムに意図的に障害を起こすことで開発運用が意図しない障害を起こす →　障害による影響を把握 →　修正することでよりシステムを安定したものになぜカオスエンジニアリングなのか？

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © NTT Communications Corporation. All rights reserved. “The best way to avoid failure is to fail constantly.” Netflix TechBlog : https://medium.com/netflix-techblog/5-lessons-weve-learned-using-aws-1f2a28588e4c - Netflix

Slide 9

Slide 9 text

Copyright © NTT Communications Corporation. All rights reserved. 9 今年月にサンフランシスコで開催発表はで視聴可能 [1]:https://chaosconf2019.splashthat.com/ [2]:https://www.youtube.com/playlist?list=PLLIx5ktghjqIbPU1G2a3ssud26tiGlFUE

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright © NTT Communications Corporation. All rights reserved. 18 Francisco Presencia FandosによるPixabayからの画像問題： ● 何が起きるかという想定がされていないこと ● 想定への対策が十分に検討されていないこと発売当時（年）だと ● コンサルや専門家を雇う ● 自分たちで考える現在だとという選択肢もある

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © NTT Communications Corporation. All rights reserved. 20 ● 問題として起きていないが、解決方法が明確なもの ● すぐににできるもの ● 問題と解決方法を知っている ● 完全に理解した ● 何が起きるのか知らない ● 起きてから対応が必要 ● 問題として知っているが、解決策がわからない ● 仮設を立て、テストと実験を繰り返しチームで解決すべき問題データ経験知識理解度

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © NTT Communications Corporation. All rights reserved. 22 [1]: https://www.amazon.co.jp/dp/4764903296 [2]: https://www.amazon.co.jp/dp/4274217884/ 「テスト」の古典的な定義を引用するなら、「ソフトウェア・テストの技法第版」が上げられるでしょう。テストとは、エラーを見つけるつもりでプログラムを実行する過程である。ソフトウェアテストの世界における本来のテストとは、認知の外を探求する、いわば創造的破壊行為です。テスト駆動開発付録訳者解説テスト駆動開発の現在より

Slide 23

Slide 23 text

Copyright © NTT Communications Corporation. All rights reserved. 23 ● 問題として起きていないが、解決方法が明確なもの ● すぐににできるもの ● 問題と解決方法を知っている ● 完全に理解した ● 何が起きるのか知らない ● 起きてから対応が必要 ● 問題として知っているが、解決策がわからない ● 仮設を立て、テストと実験を繰り返しチームで解決すべき問題データ経験知識理解度

Slide 24

Slide 24 text

Copyright © NTT Communications Corporation. All rights reserved. 24 ● 問題として起きていないが、解決方法が明確なもの ● すぐににできるもの ● 問題と解決方法を知っている ● 完全に理解した ● 何が起きるのか知らない ● 起きてから対応が必要 ● 問題として知っているが、解決策がわからない ● 仮設を立て、テストと実験を繰り返しチームで解決すべき問題データ経験知識理解度

Slide 25

Slide 25 text

Copyright © NTT Communications Corporation. All rights reserved. 25 Unknown Knowns ● 問題として起きていないが、解決方法が明確なもの ● すぐにKKにできるもの Known Knowns ● 問題と解決方法を知っている ● 完全に理解した Unknown Unknowns ● 何が起きるのか知らない ● 起きてから対応が必要 Known Unknowns ● 問題として知っているが、解決策がわからない ● 仮設を立て、テストと実験を繰り返しチームで解決すべき問題データ経験知識理解度 Failure Testing Fault Injection Chaos Engineering Chaos Engineering カオスエンジニアリングで未知の問題を知り解決することでなシステムを作る！

Slide 26

Slide 26 text

Copyright © NTT Communications Corporation. All rights reserved. 26 システムに関係するありとあらゆるものが障害を起こす原因になる耐障害性を謳う分散システムも壊れることはあるありとあらゆるものは障害を起こす Application Message Queue Database OS Hardware Network Data Center Filesystem 本当は恐ろしい分散システムの話

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright © NTT Communications Corporation. All rights reserved. 39 他の発表でも障害から学ぼうという話が [1]: https://speakerdeck.com/chaosconf/forming-failure-hypotheses?slide=31 [2]: https://speakerdeck.com/chaosconf/hot-recipes-for-building-chaos-experiments?slide=12 [3]: https://blog.newrelic.com/engineering/how-to-run-a-game-day/

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Copyright © NTT Communications Corporation. All rights reserved. 46 資料：https://speakerdeck.com/chaosconf/keynote-chaos-engineering-for-people-systems 動画：https://youtu.be/sn6wokyCZSA 企業を分散システムとして捉えを導入 ▪ ▪ ▪ ▪ 一番複雑なのはソフトウェアやハードウェアではなく人間人間もシステムの一部としての対象になる