障害の根本的な原因を 依存関係をもとに追求する必要がある • ユーザからのアクセスに対して、複数のコンポーネントが連携して処理 • 複数の要因の組み合わせにより障害が発生する傾向* - 大量のアラートが発生 → なにが障害の原因かわかりにくい 2022/3/8 4 特徴1 | 依存関係がある * Yuan, D., Luo, Y., Zhuang, X., et al.: Simple Testing Can Prevent Most Critical Failures: An Analysis of Production Failures in Distributed Data-Intensive Systems, Proc. 11th USENIX Symposium on OSDI ‘14, pp. 249-265 (2014).
2022/3/8 17 実験の流れ * Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.): Usability evaluation in industry, pp.189-194, Taylor & Francis (1996) ② ④ ① ③ ⑤ ⑥ 手順① 教示事項などを伝える • Zoomで画面共有しながら監視ツールを操作 • 監視ツール操作時に、視線移動に合わせてマウスカーソルを移動させる • 監視ツール操作時に、考えていることをできるだけ口に出す（独り言）
2022/3/8 17 実験の流れ * Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.): Usability evaluation in industry, pp.189-194, Taylor & Francis (1996) ② ④ ① ③ ⑤ ⑥ 手順② 提案ツールを操作 • 提案ツールでは、障害注入のタイミングから一定時間分のデータを再現 • 合図したタイミングで障害注入が始まった想定、操作開始 • 障害の根本原因が特定できた時点で操作終了
2022/3/8 17 実験の流れ * Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.): Usability evaluation in industry, pp.189-194, Taylor & Francis (1996) ② ④ ① ③ ⑤ ⑥ 手順③ 操作したツールについてアンケート・インタビュー • 特定した障害の根本原因（障害注入をしたサービス） • System Usability Scale*に沿った質問（ツールの使いやすさについて10問/5段階） • その他自由記述、インタビューによる聞き込み
2022/3/8 17 実験の流れ * Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.): Usability evaluation in industry, pp.189-194, Taylor & Francis (1996) ② ④ ① ③ ⑤ ⑥ 手順④⑤ Grafanaについて同様に操作/アンケート/インタビュー • Grafanaでは実際の監視情報を表示 • 障害注入のタイミングで合図をし、操作開始 • 根本原因が特定できた時点で操作終了、アンケート/インタビュー
2022/3/8 17 実験の流れ * Jordan, P. W., Thomas, B., Weerdmeester, B. A., McClelland, I. L. (Eds.): Usability evaluation in industry, pp.189-194, Taylor & Francis (1996) ② ④ ① ③ ⑤ ⑥ 手順⑥ 事後アンケート/インタビュー • 障害の根本原因を探しやすいと感じたのはどちらか • 全体を通して意見や感想
mokomoka
ftsrg
kazutoshishinoda
yoshipon
kosuken
isayan
ahspragu
masatoto
tathi
yuya4
gpeyre
tatsuropianooo
smatsumori
hannesfritz
thoeni
samanthasiow
aki_iinuma
62gerente
schacon
tenderlove
malarkey
nonsquared
ammeep
rmw
chriscoyier