反復プロセスと欠陥モデリングによる ソフトウェア要因分析の改善

Root Cause Analysis (要因分析）を反復的に行いながら、分析結果の状態を、欠陥モデルで表します。反復ごとにそのモデルを成長させて、真の欠陥やそれを誘発する要因を表して、より効果的な対応を策定することを期待できます。

Transcript

1. 2018/6/14 Agile RCA 反復プロセスと欠陥モデリングによる ソフトウェア要因分析の改善 アジャイルなRCAの導入とその効果 永田 敦
2. Agile RCA Introduction 永田 敦 ： アジャイルが好きな品質エンジニアリングマネージャ 仕事：アジャイルチームの改善のお手伝い 資格：Agile Inspection Maestro Leader and Process Owner JSTQB テスト技術者 Advanced Level Manager アジャイル流派 ： EVO （Evolutionary Project Management) copyright © A.Nagata 2 2018/6/14
3. Agile RCA 2018/6/14 copyright © A.Nagata 3 Root Cause Analysis 要因分析 なぜなぜ分析(5 whys) もそのひとつ
4. Agile RCA 2018/6/14 copyright © A.Nagata 4 一般的に使われるのは 市場で大問題が起こった時の 再発防止策を 考えるとき
5. Agile RCA なぜなぜ分析の問題点 2018/6/14 copyright © A.Nagata 5
6. Agile RCA なぜなぜ分析の問題点 2018/6/14 copyright © A.Nagata 6
7. Agile RCA 時間がかかる原因 • 慣れない担当者（開発者）に説明資料を作らせる • 分析がうまくできない • 空中戦になる • 出てくる原因が中途半端 • バグだった • テストが漏れた • レビューが不十分だった • ロジックが間違っていた • 設計が間違っていた • コーディングミス 2018/6/14 copyright © A.Nagata 7
8. Agile RCA 分析がうまくできない 適切な質問ができていない なぜは，適切な質問なのか 担当者に，自分自身の判断を分析させている 2018/6/14 copyright © A.Nagata 8
9. Agile RCA なぜなぜ分析の問題点 2018/6/14 copyright © A.Nagata 9
10. Agile RCA 2. ストレスを感じる分析 • 「なぜ」は最強の質問 過ちを犯した人を攻撃してしまう たとえ攻撃するつもりはなくても copyright © A.Nagata 10 2018/6/14
11. Agile RCA 2. ストレスを感じる分析 • 「なぜ」は最強の質問 過ちを犯した人を攻撃してしまう たとえ攻撃するつもりはなくても copyright © A.Nagata 11 The Art and Architecture of Powerful Questions, Eric E Vogt, Juanita Brown and David Isaacs, 2003 2018/6/14
12. Agile RCA 2. ストレスを感じる分析 • 「なぜ」は最強の質問 過ちを犯した人を攻撃してしまう たとえ攻撃するつもりはなくても たとえば、部長から なぜこのようにしたの? • どう感じます? copyright © A.Nagata 12 2018/6/14
13. Agile RCA copyright © A.Nagata 13 https://www.flickr.com/photos/ruthhb/2917888819/in/photostream/ 2018/6/14
14. Agile RCA 「なぜ」：最強の質問 copyright © A.Nagata 14 2018/6/14 TPSオリジナル : 製造ライン 対象：現場のモノ 欠陥 : 物理的な問題 ソフトウェア開発現場 欠陥 : バグ 対象：エンジニア
15. Agile RCA 2018/6/14 copyright © A.Nagata 15 ソフトウェア欠陥は， 人の過失によっておこるものである ソフトウェアは人が作り上げるもの
16. Agile RCA なぜという質問 2018/6/14 copyright © A.Nagata 16 その人の判断 判断 → 価値観
17. Agile RCA 2018/6/14 copyright © A.Nagata 17 なぜという質問は その人の価値観に触れてしまう
18. Agile RCA 2. ストレスを感じる分析 • 「なぜ」は最強の質問 過ちを犯した人を攻撃してしまう • 詰問に対する反応, [防御モード] copyright © A.Nagata 18 人は、真因を探ることよりも、 自分の答えを正当化しようとする Eric E. Vogt 2018/6/14
19. Agile RCA 防御モードでのなぜなぜ分析 copyright © A.Nagata 19 2018/6/14 見かけの 要因 答え 答え 答え インシデント 真の要因 なぜ なぜ 効果的 対策 なぜなぜしりとり
20. Agile RCA 適切な質問 強力な質問 適切な質問 では、どんなものが適切な質問か copyright © A.Nagata 20 2018/6/14
21. Agile RCA なぜなぜ分析の問題点 2018/6/14 copyright © A.Nagata 21
22. Agile RCA 3. 分析のスキルが向上しない • なぜなぜ分析を継続することができない 時間がかかる／責められる • 分析やファシリテーションのスキルが上がらない • 適切な質問を考えだすことができない • 真の要因にたどり着かない. copyright © A.Nagata 22 2018/6/14
23. Agile RCA プロセスの工夫：イテレーティブ なRCA • 負荷の軽減 タイムボックス • RCAミーティング：15分～30分／イテレーション • 準備資料は求めない • 習慣づけとリズムづけ 負荷の軽減 • できるだけ毎日やる • 同じ時間にやる •朝会の後、昼食の15分前 • ミーティングの後、次の質問を考える • 質問策定に時間がかけられる. 適切な質問 • タイムボックス内で議論 • 知見の伝達. copyright © A.Nagata 23 2018/6/14
24. Agile RCA 回答 イテレーションと適切な質問 インシ デント 真の要因 効果的対策 回答 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 学び 気づき copyright © A.Nagata 24 2018/6/14
25. Agile RCA 表現（Notation)の工夫 2018/6/14 copyright © A.Nagata 25 “なぜ”に対する 回答の記述 障害のメカニズム の見える化 なぜなぜ分析シート 欠陥モデル
26. Agile RCA 欠陥モデルの必要性：Project Fabre 2018/6/14 copyright © A.Nagata 26 Nobuhiro Hosokawa, Yasuharu Nishi, Aya Ureshino, Makoto Nonaka, Yukiko Hara, JaSST 2013 Tokyo – Project Fabre, 2013
27. Agile RCA 誤り，欠陥，故障 2018/6/14 27 知識 行為 正しくな い記述 望ましくない 結果 業務知識 分野知識 各種標準など 文書化 コード化 試験・運用 文書 コード 手戻り システム障害 誤り（Ｅｒｒｏｒ） 欠陥（Defect) 故障（Ｆａｉｌｕｒｅ） http://www.bcm.co.jp/index.html: 山本修一郎 要求工学 要求レビュ より copyright © A.Nagata
28. Agile RCA 欠陥モデルの例 copyright © A.Nagata 28 2018/6/14
29. Agile RCA イテレーションがフィードバックループを生む 回答 インシ デント 真の要因 効果的対策 回答 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 copyright © A.Nagata 29 2018/6/14
30. Agile RCA イテレーションがフィードバックループを生む copyright © A.Nagata 30 2018/6/14 回答 インシ デント 真の要因 効果的対策 回答 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 Q&A 議論 モデリ ング 質問・議論 : ダイバージェンス : 具体化 モデリング : コンバージェンス : 汎化 モデリ ング モデリ ング モデリ ング
31. Agile RCA アジャイルRCAのプロセス copyright © A.Nagata 31 2018/6/14
32. Agile RCA 対策まで含めたアジャイルRCA copyright © A.Nagata 32 2018/6/14
33. Agile RCA 3つのループ • インシデント分析ループ • 探索的分析ループ • 時間まで被分析者の回答を基に探索ループで質問を繰り 返し、回答の理解のための確認や、背景や裏付ける事実 を引き出していく。. • タイムボックス時間厳守 • アジャイルRCAループ • タイムボックスが終わったあと、探索ループで得られた回 答を分析して欠陥をモデル化し、戦略をもって次の質問 を策定していく。 • 対策ループ copyright © A.Nagata 33 2018/6/14
34. Agile RCA 分析チーム • モデレータ • アジャイルRCAの目的、原理を理解して、プロセスをドラ イブする人 • 欠陥モデルの作成をする • 質問の作成、戦略建てを行う • 担当者 • レビューア • モデレータと協調して、戦略に基づいて質問の作成、ファ シリテーションをサポートする。 • 欠陥モデルのレビューを行い、戦略建てのサポートをする copyright © A.Nagata 34 2018/6/14
35. Agile RCA イテレーション1日目: インシデント分析 • 事実、背景、状況、起きたことだけを聞く • 分析は我慢する • 傾聴、パラフレージングが有効 copyright © A.Nagata 35 2018/6/14
36. Agile RCA イテレーション1日目のあとで インシデント分析の結果をモデリングして 分析の質問を考える copyright © A.Nagata 36 2018/6/14
37. Agile RCA イテレーション２日目: 探索的分析 copyright © A.Nagata 37 2018/6/14 インシデント分析で作られた質問をベースに 探索的に質問と回答を繰り返すループ
38. Agile RCA 探索的ループの後 : モデリング 欠陥モデルの作成 それをもとに次のイテレーションの質問を策定 copyright © A.Nagata 38 2018/6/14 探索的ループ より
39. Agile RCA イテレーション３日目: 欠陥モデルで質問する 1. アジャイルRCAループで作った欠陥モデルをチームで合意する 2. アジャイルRCAループで策定した質問をベースに探索的分析ループを回す 再び探索的ループに入る copyright © A.Nagata 39 2018/6/14
40. Agile RCA ダイバージェンスとコンバージェンス 2018/6/14 copyright © A.Nagata 40 ダイバージェンス コンバージェンス
41. Agile RCA 対策まで含めたアジャイルRCA copyright © A.Nagata 41 2018/6/14
42. Agile RCA 事例 : 1日目 copyright © A.Nagata 42 2018/6/14
43. Agile RCA 過失１：コードの誤修正 2018/6/14 copyright © A.Nagata 43 // 表示処理 public void InitDisplay(int h-Id, bool[] selected, Color) { ・ ・ input = new InputEntity(); foreach (InputEntity inputEntity in input.Query(InputEntity.RecycledStatus, true).OrderBy(…)) { if (inputEntity.Status == (InputEntity.RecycledStatus)) { // 表示処理 } if (inputEntity.Status.Equals(InputEntity.RecycledStatus)) { // 表示処理 }
44. Agile RCA 過失２：移植したコンポーネントの使用法 2018/6/14 copyright © A.Nagata 44 Entityの 生成 Entityの 初期化 表示処理 ① ② ③ レーシング
45. Agile RCA 事例 : ２日目 終了直後 copyright © A.Nagata 45 2018/6/14
46. Agile RCA 事例 : ３日目 2018/6/14 copyright © A.Nagata 46
47. Agile RCA 事例 最終 copyright © A.Nagata 47 2018/6/14
48. Agile RCA 事例の俯瞰 copyright © A.Nagata 48 2018/6/14 個人的な因子による欠陥 プロセス因子による欠陥
49. Agile RCA Agile RCA feedbacks 2018/6/14 copyright © A.Nagata 49 質問 回答 表示している モデルに反映 モデルによる可視化からの フィードバック 俯瞰 想起 モデルへの フィードバック 推論 推論の学習 推測への フィードバック
50. Agile RCA 推論の学習 • 推論の当たり外れがすぐにわかり，規則性を学ぶこ とができる • 推論を確かめるための質問が出せる． • 推論が当たった時 • 推論に対する課題との関係性を学べる • 推論が外れたとき • 想定外：真実は小説よりも奇なり • 新たな発見！！ •事実，シナリオ，論理を学べる •問題の奥深さを感じる • 推論でわかるくらいならば， 2018/6/14 copyright © A.Nagata 50
51. Agile RCA アジャイルRCAの効果１ • 継続性 • 従来 •時間がかかる重たい作業で、継続しなかった. • アジャイルRCA •二つのチームで6か月以上継続. •習慣的に行うモチベーションが出てきた. copyright © A.Nagata 51 2018/6/14
52. Agile RCA アジャイルRCAの効果２ • 分析スキルの改善 • 分析スピード •4倍以上の改善 •従来 トータル8時間 •アジャイルRCAトータル2時間 （min 1.5時間） • 真の原因への到達 •従来 到達しない場合もしばしばあった •アジャイルRCAおよそ1.5時間で到達 • ファシリテーションの向上 copyright © A.Nagata 52 2018/6/14
53. Agile RCA アジャイルRCAの効果３ • チームとの信頼関係が生まれる • 担当者をリスペクトする •貴重な情報を提供してくれた人 • 人を責めない分析 • 分析の対象は人ではなく欠陥モデル • 初めから正しくやることの難しさがわかる • もしあなたも、その分析と同じ状況、条件、環境、タイミ ングにおかれたら、同じ間違いを犯すことを痛烈に認識 するはず • 現場からの品質改善のモチベーションが高まる copyright © A.Nagata 53 2018/6/14
54. Agile RCA 客観的、冷静な分析 copyright © A.Nagata 54 2018/6/14 使用前 対象：エンジニア 欠陥 : バグ 使用後 欠陥 : バグ 対象：欠陥モデル
55. Agile RCA 対策まで含めたアジャイルRCA copyright © A.Nagata 55 2018/6/14
56. Agile RCA 欠陥モデルの目的とタイプ • マインドマップ型 • 担当者とともに作成，共有するためのモデルタイプ • できるだけ詳細に，担当者からの情報を漏らさない • 関係者以外が見ると煩雑 • 報告型 • 障害の報告，説明のためのもの • ポイントを要約している • 細かいニュアンスは伝わらないことがある • 記録，伝達型 （データベース） • 知見として残し，伝えるためのもの • 研究中 2018/6/14 copyright © A.Nagata 56
57. Agile RCA FAQ: 何回、回せばよいのか？ 2018/6/14 copyright © A.Nagata 57 つごう６回ぐらい
58. Agile RCA なにがよいのか？ 2018/6/14 copyright © A.Nagata 58 フィードバック ： 気づき
59. Agile RCA ファシリテーションのコツ • 欠陥が見つかったとき、すぐにその欠陥に対する質 問に直接入らない • その周りにさらに欠陥がないか探りを入れてみる • 欠陥の因子を探る • 状況、条件、背景 • どのように作られたか • 与えられた条件 • 言い訳 • 愚痴 • 言ったことをその場でモデルに書き込んでいく • 違っていたら，その場で治してしまう． 2018/6/14 copyright © A.Nagata 59
60. Agile RCA アジャイルという理由 • 複数の改善のループ • 欠陥モデルがイテレーションごとに進化する • 欠陥モデルを毎回評価し合意している • 欠陥モデルの上で考え議論をしている • 次のイテレーションに対して欠陥モデルを剪定している . • アジャイルRCAは、欠陥モデルを用いて複数のイテ レーティブなループにより継続的に要因分析の改善 をしている copyright © A.Nagata 60 2018/6/14
61. Agile RCA アジャイルRCAの課題 • 欠陥モデルの改善 • 因子の整備改善 • モデリングのスピードアップ • パターン化／メタモデリング • 質問生成とその戦略の改善 • モデリングの利用 • 未然防止活動：プロセス、レビュー、テスティング • モデリングのデータベース化 • アジャイルRCAプロセスのスピードアップ • リアルタイムプロセス copyright © A.Nagata 61 2018/6/14
62. Agile RCA ご清聴ありがとうございました copyright © A.Nagata 62 2018/6/14
63. Agile RCA Reference • Agile Specification Quality Control: Shifting emphasis from cleanup to sampling defects, Tom Gilb, 2005 • Nobuhiro Hosokawa, Yasuharu Nishi, Aya Ureshino, Makoto Nonaka, Yukiko Hara, JaSST 2013 Tokyo – Project Fabre, 2013 • THE ART OF POWERFUL QUESTIONS, Eric E.Vogt, Juanita Brown, and David Isaacs, 2003 • Software Inspection, Tom Gilb, Dorothy Graham, 1993 • The Practical Guide to Defect Prevention, Marc McDonald, Robert Musson, Ross Smith, 2007, Microsoft Press • ODC - a 10x for Root Cause Analysis, Ram Chillarege, 2006 • Naze Naze Bunseki, Hitoshi Ogura, Nikkei BP, 2010 copyright © A.Nagata 63 2018/6/14