多領域インシデントマネジメントへの挑戦：ハードウェアとソフトウェアの融合が生む課題/Challenge to multidisciplinary incident management: Issues created by the fusion of hardware and software

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 Copyright © 2024 Bitkey Inc. All right reserved. 1.自己紹介高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント電気部品：・電源用基板・通信用基板等ファームウェアは基板上の専用のICに書き込まれる BLE 機構部品：カバー、電池ボックス、ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例）ハードウェアファームウェアソフトウェアあらゆる技術領域でインシデントが起こり得る

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できない

Slide 24

Slide 24 text

24 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できないソフトウェア起因スマートフォンアプリのロジック不備により認証に失敗した結果、アプリからカギが解錠できない etc...

Slide 25

Slide 25 text

25 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できないソフトウェア起因スマートフォンアプリのロジック不備により認証に失敗した結果、アプリからカギが解錠できない etc...

Slide 26

Slide 26 text

26 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できないソフトウェア起因スマートフォンアプリのロジック不備により認証に失敗した結果、アプリからカギが解錠できない etc... お客様視点で見ると全て「アプリからカギが解錠できない」

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2024 Bitkey Inc. 29 29 4. インシデント発生時に直面する課題実際に直面している課題の例 ● 原因調査の高難度化 ○ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ○ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 ● 情報のサイロ化 ○ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ○ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。

Slide 30

Slide 30 text

© 2024 Bitkey Inc. 30 30 4. インシデント発生時に直面する課題実際に直面している課題の例 ● 原因調査の高難度化 ○ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ○ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 ● 情報のサイロ化 ○ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ○ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。 ● ステークホルダー間の優先度認識ギャップ ○ 経営層や事業責任者が現場の実態を把握しきれず、対策の優先度が共有できない。 ○ 戦略的判断やリソース配分が現場と食い違い、必要な対応が後手に回る

Slide 31

Slide 31 text

© 2024 Bitkey Inc. 31 31 4. インシデント発生時に直面する課題実際に直面している課題の例 ● 原因調査の高難度化 ○ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ○ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 ● 情報のサイロ化 ○ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ○ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。 ● ステークホルダー間の優先度認識ギャップ ○ 経営層や事業責任者が現場の実態を把握しきれず、対策の優先度が共有できない。 ○ 戦略的判断やリソース配分が現場と食い違い、必要な対応が後手に回る ● 上記複数の要因が絡み合うことによる現場の疲弊 ○ インシデント対応自体へのモチベーションDown ○ 開発業務やプロジェクト推進業務への悪影響

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

34 Copyright © 2024 Bitkey Inc. All right reserved. 5. 課題への打ち手と現状高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る

Slide 35

Slide 35 text

35 Copyright © 2024 Bitkey Inc. All right reserved. 高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験 5. 課題への打ち手と現状

Slide 36

Slide 36 text

36 Copyright © 2024 Bitkey Inc. All right reserved. 高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験市場と向き合い続けた経験市場と向き合い続けた経験 5. 課題への打ち手と現状

Slide 37

Slide 37 text

37 Copyright © 2024 Bitkey Inc. All right reserved. 高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験市場と向き合い続けた経験市場と向き合い続けた経験そこそこの経験年数逆境好き 5. 課題への打ち手と現状

Slide 38

Slide 38 text

© 2024 Bitkey Inc. 38 38 5. 課題への打ち手と現状プロダクト開発ビジネス横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンプロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 従来の組織図概略 workhub事業 homehub事業営業部

Slide 39

Slide 39 text

© 2024 Bitkey Inc. 39 39 5. 課題への打ち手と現状プロダクト開発ビジネス横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンインシデントマネジメント部隊（⾼⽯＋2名）プロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 現在の組織図概略 workhub事業 homehub事業営業部

Slide 40

Slide 40 text

© 2024 Bitkey Inc. 40 40 5. 課題への打ち手と現状プロダクト開発ビジネス横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンインシデントマネジメント部隊（⾼⽯＋2名）プロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 現在の組織図概略 workhub事業 homehub事業営業部専属部隊が恒久的にいるべきかどうか、は今後要検討・・・

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2024 Bitkey Inc. 43 43 5. 課題への打ち手と現状整備したインシデントルールの例 ● インシデント起票条件の設定 ○ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり） ● インシデント完了条件の設定 ○ 「暫定的な対応が完了した時点」でインシデント対応は解決済み扱いとする ○ 恒久対応や再発防止策の方針はポストモーテムにて議論し、インシデント完了要件にしない ○ ポストモーテム実施後、インシデントを完了済み扱いにする ※ポストモーテムはインシデントマネジメントチームにて主催する

Slide 44

Slide 44 text

© 2024 Bitkey Inc. 44 44 5. 課題への打ち手と現状整備したインシデントルールの例 ● インシデント起票条件の設定 ○ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり） ● インシデント完了条件の設定 ○ 「暫定的な対応が完了した時点」でインシデント対応は解決済み扱いとする ○ 恒久対応や再発防止策の方針はポストモーテムにて議論し、インシデント完了要件にしない ○ ポストモーテム実施後、インシデントを完了済み扱いにする ※ポストモーテムはインシデントマネジメントチームにて主催する

Slide 45

Slide 45 text

© 2024 Bitkey Inc. 45 45 5. 課題への打ち手と現状整備したインシデントルールの例 ● インシデント起票条件の設定 ○ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり） ● インシデント完了条件の設定 ○ 「暫定的な対応が完了した時点」でインシデント対応は解決済み扱いとする ○ 恒久対応や再発防止策の方針はポストモーテムにて議論し、インシデント完了要件にしない ○ ポストモーテム実施後、インシデントを完了済み扱いにする ※ポストモーテムはインシデントマネジメントチームにて主催する ● インシデントマネジメントツールの運用方針の整備 ○ waroomを使ったインシデントマネジメントをしているので、その運用ルールの策定 ■ サービスの設定 ■ サービスごとのインシデントチャンネル自動招待者やランブックの設定

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

© 2024 Bitkey Inc. 52 52 5. 課題への打ち手と現状可視化しているものの例 ● 市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・ ● インシデントchの立ち上げ率の月次推移 ● 個別のインシデントの進捗 ● ポストモーテム実施率 ● ポストモーテム後のアクションアイテム実施率「全体感」についての可視化は概ね完了個別のメトリクス分析はまだまだこれから

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© 2024 Bitkey Inc. 56 56 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い

Slide 57

Slide 57 text

© 2024 Bitkey Inc. 57 57 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・

Slide 58

Slide 58 text

© 2024 Bitkey Inc. 58 58 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ ● 書籍を利用したチーム内勉強会の実施

Slide 59

Slide 59 text

© 2024 Bitkey Inc. 59 59 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ ● 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書)

Slide 60

Slide 60 text

© 2024 Bitkey Inc. 60 60 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ ● 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書) ● 非常に助かったポイント ○ 初学者でもわかりやすい ○ 「極端な話、顧客の業務が継続できれば、システムなどはどうでも良い」という考えが自社と非常にマッチした ○ 「理想的な状態」が描けた為、現時点の課題が浮き彫りになった

Slide 61

Slide 61 text

© 2024 Bitkey Inc. 61 61 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ ● 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書)

Slide 62

Slide 62 text

© 2024 Bitkey Inc. 62 62 6. 今後解決していくべき課題 ①「インシデント発生時の各担当者の立ち振る舞い」の型化ができていない ● インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ ● 個々のインシデント対応に掛かった時間の可視化・振り返りができていない ● 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ ● 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書) ● 類似事象の発生件数の計上＆頻発する事象の対策優先順位設定見直し ● MTTA、MTTR等の可視化と分析・改善対応の実施

Slide 63

Slide 63 text