多領域インシデントマネジメントへの挑戦：ハードウェアとソフトウェアの融合が生む課題/Challenge to multidisciplinary incident management: Issues created by the fusion of hardware and software

2 Copyright © 2024 Bitkey Inc. All right reserved. Outline
1. 自己紹介 2. ビットキーのサービス・プロダクト紹介 3. 日々起こる様々なインシデント 4. インシデント発生時に直面する課題 5. 課題への打ち手と現状 6. 今後

3 Copyright © 2024 Bitkey Inc. All right reserved. 1.
自己紹介

4 Copyright © 2024 Bitkey Inc. All right reserved. 1.自己紹介
高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る

ビットキーのサービス・プロダクト紹介

サービス紹介 homehubは「暮らし」に関わる様々な体験を実現する。その中心にあるのがスマートロック

10 Copyright © 2024 Bitkey Inc. All right reserved. workhubは「働く空間」と「働くひとや業務」をつなぎ、快適な仕事を実現する。こちらも多くの体験の中心にスマートロックがある
2. サービス紹介

日々起こる様々なインシデント

日々起きる様々なインシデント Productの構成（bitlock MINIの例）

日々起きる様々なインシデント機構部品：カバー、電池ボックス、ギヤ、つまみ、ホルダ等電気部品：・電源用基板・通信用基板等 Productの構成（bitlock MINIの例）ハードウェア

日々起きる様々なインシデント電気部品：・電源用基板・通信用基板等ファームウェアは基板上の専用のICに書き込まれる機構部品：カバー、電池ボックス、ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例）ハードウェアファームウェア

日々起きる様々なインシデント電気部品：・電源用基板・通信用基板等ファームウェアは基板上の専用のICに書き込まれる BLE 機構部品：カバー、電池ボックス、ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例）ファームウェアハードウェアソフトウェア

日々起きる様々なインシデント電気部品：・電源用基板・通信用基板等ファームウェアは基板上の専用のICに書き込まれる BLE 機構部品：カバー、電池ボックス、ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例）ハードウェアファームウェアソフトウェアあらゆる技術領域でインシデントが起こり得る

日々起きる様々なインシデントあれもこれも bitkey

日々起きる様々なインシデントあっちでもこっちでも Incident

日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない

日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できない

日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できない

日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できないソフトウェア起因スマートフォンアプリのロジック不備により認証に失敗した結果、アプリからカギが解錠できない etc...

日々起きる様々なインシデント各領域で発生するインシデントの例機構部品起因デバイス内部のギヤが破損してスマートロックが動かなくなった結果、アプリからカギが解錠できない電気部品起因デバイス内部で電気部品の接触不良が起きて電池が異常消耗した結果、アプリからカギが解錠できないファームウェア起因デバイス内部でのファームウェアロジックの不備により認証に失敗した結果、アプリからカギが解錠できないソフトウェア起因スマートフォンアプリのロジック不備により認証に失敗した結果、アプリからカギが解錠できない etc... お客様視点で見ると全て「アプリからカギが解錠できない」

インシデント発生時に直面する課題

© 2024 Bitkey Inc. 28 28 4. インシデント発生時に直面する課題実際に直面している課題の例 •
原因調査の高難度化 ◦ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ◦ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。

原因調査の高難度化 ◦ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ◦ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 • 情報のサイロ化 ◦ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ◦ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。

原因調査の高難度化 ◦ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ◦ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 • 情報のサイロ化 ◦ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ◦ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。 • ステークホルダー間の優先度認識ギャップ ◦ 経営層や事業責任者が現場の実態を把握しきれず、対策の優先度が共有できない。 ◦ 戦略的判断やリソース配分が現場と食い違い、必要な対応が後手に回る

原因調査の高難度化 ◦ インシデント発生時、どの領域・担当者に調査を依頼するべきか判別が難しい。 ◦ 表面化している不具合から想定される原因候補が多数存在し、真因特定まで時間を要する。 • 情報のサイロ化 ◦ 対応・改善策が個別チーム内で完結し、組織全体へ十分に還元されない。 ◦ 知見が横展開されないことで、多領域で類似インシデントの再発リスクが残存したまま。 • ステークホルダー間の優先度認識ギャップ ◦ 経営層や事業責任者が現場の実態を把握しきれず、対策の優先度が共有できない。 ◦ 戦略的判断やリソース配分が現場と食い違い、必要な対応が後手に回る • 上記複数の要因が絡み合うことによる現場の疲弊 ◦ インシデント対応自体へのモチベーションDown ◦ 開発業務やプロジェクト推進業務への悪影響

課題への打ち手と現状

課題への打ち手と現状高石圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る

35 Copyright © 2024 Bitkey Inc. All right reserved. 高石
圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験 5. 課題への打ち手と現状

圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験市場と向き合い続けた経験市場と向き合い続けた経験 5. 課題への打ち手と現状

圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社・コンパクトカメラの電気設計・産業装置のファームウェア設計株式会社ZOZOテクノロジーズに転職服作り自動化プロジェクトの工程の設計を担当株式会社ビットキーに入社以下を担当　・市場投下済製品のファームウェア修正　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当として市場投下済デバイスに関する品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断してインシデントマネジメントする組織を組閣、現在に至る複数技術領域の経験市場と向き合い続けた経験市場と向き合い続けた経験そこそこの経験年数逆境好き 5. 課題への打ち手と現状

© 2024 Bitkey Inc. 38 38 5. 課題への打ち手と現状プロダクト開発ビジネス
横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンプロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 従来の組織図概略 workhub事業 homehub事業営業部

横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンインシデントマネジメント部隊（⾼⽯＋2名）プロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 現在の組織図概略 workhub事業 homehub事業営業部

横断機能組織事業組織プラットフォーム開発 UI / UXデザイン Data Analytics ファームウェア開発 SRE QA‧テスティングカスタマーサクセス部事業企画部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発ハードウェア開発サプライチェーンインシデントマネジメント部隊（⾼⽯＋2名）プロダクト開発ビジネスカスタマーサクセス部営業部プロジェクトマネジメント部 WEBアプリ開発モバイルアプリ開発経営チーム /Board Member 現在の組織図概略 workhub事業 homehub事業営業部専属部隊が恒久的にいるべきかどうか、は今後要検討・・・

© 2024 Bitkey Inc. 42 42 5. 課題への打ち手と現状整備したインシデントルールの例 •
インシデント起票条件の設定 ◦ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり）

インシデント起票条件の設定 ◦ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり） • インシデント完了条件の設定 ◦ 「暫定的な対応が完了した時点」でインシデント対応は解決済み扱いとする ◦ 恒久対応や再発防止策の方針はポストモーテムにて議論し、インシデント完了要件にしない ◦ ポストモーテム実施後、インシデントを完了済み扱いにする ※ポストモーテムはインシデントマネジメントチームにて主催する

インシデント起票条件の設定 ◦ 問い合わせ用Slackチャンネルのワークフローで「緊急度」が高いものをインシデントとする ※datadogなどによる自動検知→自動起票は未整備（一部チームは運用あり） • インシデント完了条件の設定 ◦ 「暫定的な対応が完了した時点」でインシデント対応は解決済み扱いとする ◦ 恒久対応や再発防止策の方針はポストモーテムにて議論し、インシデント完了要件にしない ◦ ポストモーテム実施後、インシデントを完了済み扱いにする ※ポストモーテムはインシデントマネジメントチームにて主催する • インシデントマネジメントツールの運用方針の整備 ◦ waroomを使ったインシデントマネジメントをしているので、その運用ルールの策定 ▪ サービスの設定 ▪ サービスごとのインシデントチャンネル自動招待者やランブックの設定

市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・

市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・ • インシデントchの立ち上げ率の月次推移

市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・ • インシデントchの立ち上げ率の月次推移 • 個別のインシデントの進捗

市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・ • インシデントchの立ち上げ率の月次推移 • 個別のインシデントの進捗 • ポストモーテム実施率 • ポストモーテム後のアクションアイテム実施率

市場からの問い合わせ傾向（機能別/お客様別）の月次推移 ※デバイスとソフトウェアを統合して管理できる様にするのに数ヶ月掛かった・・・ • インシデントchの立ち上げ率の月次推移 • 個別のインシデントの進捗 • ポストモーテム実施率 • ポストモーテム後のアクションアイテム実施率「全体感」についての可視化は概ね完了個別のメトリクス分析はまだまだこれから

今後

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ • 書籍を利用したチーム内勉強会の実施

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ • 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書)

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ • 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書) • 非常に助かったポイント ◦ 初学者でもわかりやすい ◦ 「極端な話、顧客の業務が継続できれば、システムなどはどうでも良い」という考えが自社と非常にマッチした ◦ 「理想的な状態」が描けた為、現時点の課題が浮き彫りになった

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ • 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書)

• インシデントコマンダーを筆頭に、各担当の役割/振る舞いが明確化できていない ②全体の可視化はある程度できたが個別の分析や再発防止の実施はまだまだ • 個々のインシデント対応に掛かった時間の可視化・振り返りができていない • 「過去に発生した類似の事象」が解決できておらず事象が再発することが多い他にも色々・・・ • 書籍を利用したチーム内勉強会の実施 (with システム障害対応の教科書) • 類似事象の発生件数の計上＆頻発する事象の対策優先順位設定見直し • MTTA、MTTR等の可視化と分析・改善対応の実施

多領域インシデントマネジメントへの挑戦：ハードウェアとソフトウェアの融合が生む課題/Chall...

多領域インシデントマネジメントへの挑戦：ハードウェアとソフトウェアの融合が生む課題/Challenge to multidisciplinary incident management: Issues created by the fusion of hardware and software

More Decks by 株式会社ビットキー / Bitkey Inc.

Other Decks in Technology

Featured

Transcript