Share
Embed
Waroomを使って ハードウェアからソフトウェアまで 領域横断してインシデントマネジメント始めてみた /I started incident management using Waroom across domains from hardware to software.
登壇者名:高石 圭佑
登壇したイベントのURL:https://topotal.connpass.com/event/333892/
株式会社ビットキー / Bitkey Inc. PRO
November 18, 2024
Transcript
56 slides
-
2 Copyright © 2024 Bitkey Inc. All right reserved. Outline
1. 自己紹介 2. ビットキーのサービス・プロダクト紹介 3. 日々起こる様々なインシデント 4. 従来のビットキーのインシデント対応の流れと課題 5. 課題解決に向けて現在行っていること 6. 残存する課題と今後に向けて -
4 Copyright © 2024 Bitkey Inc. All right reserved. 1.自己紹介
高石 圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社 ・コンパクトカメラの電気設計 ・産業装置のファームウェア設計 株式会社ZOZOテクノロジーズに転職 服作り自動化プロジェクトの工程の設計を担当 株式会社ビットキーに入社 以下を担当 ・市場投下済製品のファームウェア実装 ・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当としてデバイスに関する 品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断して インシデントマネジメントする組織を組閣、現在に至る -
5 Copyright © 2024 Bitkey Inc. All right reserved. 2.
ビットキーのサービス・プロダクト紹介 -
9 Copyright © 2024 Bitkey Inc. All right reserved. 2.
サービス紹介 homehubは「暮らし」に関わる様々な体験を実現する。その中心にあるのがスマートロック -
11 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起こる様々なインシデント -
14 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起きる様々なインシデント Productの構成(bitlock MINIの例) -
15 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起きる様々なインシデント 機構部品: カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 電気部品: ・電源用基板 ・通信用基板等 Productの構成(bitlock MINIの例) ハードウェア -
16 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起きる様々なインシデント 電気部品: ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる 機構部品: カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成(bitlock MINIの例) ハードウェア ファームウェア -
17 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起きる様々なインシデント 電気部品: ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる BLE 機構部品: カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成(bitlock MINIの例) ファームウェア ハードウェア ソフトウェア -
18 Copyright © 2024 Bitkey Inc. All right reserved. 3.
日々起きる様々なインシデント 電気部品: ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる BLE 機構部品: カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成(bitlock MINIの例) ハードウェア ファームウェア ソフトウェア あらゆる技術領域でインシデントが起こり得る -
19 Copyright © 2024 Bitkey Inc. All right reserved. 4.
従来のビットキーのインシデント対応の流れと課題 -
20 Copyright © 2024 Bitkey Inc. All right reserved. 従来のインシデント対応の全体の流れ
課 題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 分 類 & 優 先 度 判 断 4. 従来のビットキーのインシデント対応の流れと課題 -
21 Copyright © 2024 Bitkey Inc. All right reserved. 課
題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 分 類 & 優 先 度 判 断 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 従来のインシデント対応の全体の流れ 4. 従来のビットキーのインシデント対応の流れと課題 -
22 Copyright © 2024 Bitkey Inc. All right reserved. 課
題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 分 類 & 優 先 度 判 断 基本的に一つのスレッド内で完結 従来のインシデント対応の全体の流れ 4. 従来のビットキーのインシデント対応の流れと課題 -
23 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
24 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
25 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
26 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
27 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 3. インシデント対応に追われることによる本来の業務へ悪影響 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
28 Copyright © 2024 Bitkey Inc. All right reserved. 1.
どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 3. インシデント対応に追われることによる本来の業務へ悪影響 a. 開発担当者が「調査」「火消しの暫定対応」に追われる b. サポート担当者が「インシデント発生時のお客様調整」に追われる c. 結果として組織全体が疲弊する(開発業務やプロジェクト推進業務に悪影響) 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題 -
29 Copyright © 2024 Bitkey Inc. All right reserved. 5.
課題解決に向けて現在行っていること -
30 Copyright © 2024 Bitkey Inc. All right reserved. キーワードは「共通化」と「可視化」と「効率化」
5. 課題解決に向けて現在行っていること -
31 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 • インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 -
32 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 • インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 -
33 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 -
34 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 サポート担当はこの根拠に従って 前衛問い合わせを起票 -
35 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 サポート担当はこの根拠に従って 前衛問い合わせを起票 開発部隊はこの根拠に従って インシデント対応 -
36 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 • インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 -
37 Copyright © 2024 Bitkey Inc. All right reserved. 1.
共通化(事業領域/技術領域を横断した共通化) • 「前衛投稿時の緊急度判断」の共通化 • 「緊急度ごと」のインシデント起票条件の共通化 • インシデントの完了条件の共通化 • 以下を以てインシデント対応完了とする ◦ 暫定処置完了 ◦ ステークホルダーを集めた「振り返り会・ポストモーテム」の実施完了 • 再発防止策・恒久対策の実施状況は問わない 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 -
38 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
39 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化 ◦ 前衛問い合わせ傾向 (Notion) ◦ インシデントchの立ち上げ率 (Notion) ◦ 個別のインシデントの進捗 (Waroom) ◦ ポストモーテム実施率 (Notion) ◦ ポストモーテム後のアクションアイテム実施率 (Notion) キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
40 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化(前衛問い合わせ傾向)※ダミーデータです キーワードは「共通化」と「可視化」と「効率化」 お客様ごとの過去xヶ月の緊急度高・最高の問い合わせ数 5. 課題解決に向けて現在行っていること -
41 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化(インシデントchの立ち上げ率)※ダミーデータです ◦ 前衛問い合わせ傾向 ◦ インシデントchの立ち上げ率 ◦ 個別のインシデントの進捗 ◦ ポストモーテム実施率 ◦ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 40 3 8 yyy -
42 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化(個別のインシデントの進捗:waroomページ上で管理) キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
43 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化(ポストモーテム実施率)※ダミーデータです ◦ 前衛問い合わせ傾向 ◦ インシデントchの立ち上げ率 ◦ 個別のインシデントの進捗 ◦ ポストモーテム実施率 ◦ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
44 Copyright © 2024 Bitkey Inc. All right reserved. 2.
可視化(ポストモーテム後のアクションアイテム実施率)※ダミーデータです ◦ 前衛問い合わせ傾向 ◦ インシデントchの立ち上げ率 ◦ 個別のインシデントの進捗 ◦ ポストモーテム実施率 ◦ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
45 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
46 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
47 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ◦ /waroomコマンドによるインシデントch作成 ◦ サービスごとのステークホルダーの自動招待 ◦ サービスごとのRunbookに従ったインシデントステータスの自動変更 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること -
48 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ◦ /waroomコマンドによるインシデントch作成 ◦ サービスごとのステークホルダーの自動招待 ◦ サービスごとのRunbookに従ったインシデントステータスの自動変更 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類 -
49 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ◦ /waroomコマンドによるインシデントch作成 ◦ サービスごとのステークホルダーの自動招待 ◦ サービスごとのRunbookに従ったインシデントステータスの自動変更 • waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類 -
50 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ◦ /waroomコマンドによるインシデントch作成 ◦ サービスごとのステークホルダーの自動招待 ◦ サービスごとのRunbookに従ったインシデントステータスの自動変更 • waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 ◦ 対応中のインシデントのステートドキュメント自動作成 ◦ ポストモーテム実施に向けたインシデント概要の自動要約 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類 -
51 Copyright © 2024 Bitkey Inc. All right reserved. 3.
効率化(多くの部分をwaroomに依存) • Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ◦ /waroomコマンドによるインシデントch作成 ◦ サービスごとのステークホルダーの自動招待 ◦ サービスごとのRunbookに従ったインシデントステータスの自動変更 • waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 ◦ 対応中のインシデントのステートドキュメント自動作成 ◦ ポストモーテム実施に向けたインシデント概要の自動要約 キーワードは「共通化」と「可視化」と「効率化」 「あらゆる事業領域」「あらゆる技術領域」で起きるインシデントをかなり良い感じに 要約してくれており、ポストモーテム資料作成時間が大幅に削減 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類 -
53 Copyright © 2024 Bitkey Inc. All right reserved. 残っている課題と今後に向けて
6.残存する課題と今後に向けて ①個々のインシデント対応がまだまだ洗練されていない • 対応に慣れている部署とそうでない部署でバラつきが多い • 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない • 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 • ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い • 開発・QA・ビジネスの各プロセスに対するフィードバックができていない -
54 Copyright © 2024 Bitkey Inc. All right reserved. ①個々のインシデント対応がまだまだ洗練されていない
• 対応に慣れている部署とそうでない部署でバラつきが多い • 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない • 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 • ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い • 開発・QA・ビジネスの各プロセスに対するフィードバックができていない 残っている課題と今後に向けて 6.残存する課題と今後に向けて • 普及に向けた継続的な社内への発信・啓蒙活動 • プロダクト開発全体の優先順位付けルールの検討・策定 • 効率化・システム化に向けた専属担当のアサインや体制の整備 -
55 Copyright © 2024 Bitkey Inc. All right reserved. ①個々のインシデント対応がまだまだ洗練されていない
• 対応に慣れている部署とそうでない部署でバラつきが多い • 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない • 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 • ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い • 開発・QA・ビジネスの各プロセスに対するフィードバックができていない 残っている課題と今後に向けて 6.残存する課題と今後に向けて • 普及に向けた継続的な社内への発信・啓蒙活動 • プロダクト開発全体の優先順位付けルールの検討・策定 • 効率化・システム化に向けた専属担当のアサインや体制の整備 • インシデント要因となりうる要素の洗い出しと、事前検知方法の検討・運用 • インシデントが発生した要因となったプロセスを特定したうえで プロセス自体を是正対応をする様な体制・ルールの整備 -
56 End of File Copyright © 2024 Bitkey Inc. All
right reserved.