Tweet
Tweet

Slide 1

Slide 1 text

© 2024 Bitkey Inc. Waroomを使って ハードウェアからソフトウェアまで 領域横断してインシデントマネジメント始めてみた 株式会社ビットキー　高石 圭佑　2024/11/13(水)

Slide 2

Slide 2 text

2 Copyright © 2024 Bitkey Inc. All right reserved. Outline 1. 自己紹介 2. ビットキーのサービス・プロダクト紹介 3. 日々起こる様々なインシデント 4. 従来のビットキーのインシデント対応の流れと課題 5. 課題解決に向けて現在行っていること 6. 残存する課題と今後に向けて

Slide 3

Slide 3 text

3 Copyright © 2024 Bitkey Inc. All right reserved. 1. 自己紹介

Slide 4

Slide 4 text

4 Copyright © 2024 Bitkey Inc. All right reserved. 1.自己紹介 高石 圭佑 Takaishi Keisuke 2013.04 2018.12 2019.10 株式会社ニコン入社 ・コンパクトカメラの電気設計 ・産業装置のファームウェア設計 株式会社ZOZOテクノロジーズに転職 服作り自動化プロジェクトの工程の設計を担当 株式会社ビットキーに入社 以下を担当 　・市場投下済製品のファームウェア実装 　・新規開発製品のファームウェア開発責任者 2023.01 ハードウェア品質保証担当としてデバイスに関する 品質改善活動に没頭 2024.09 ハードウェアからソフトウェアまで横断して インシデントマネジメントする組織を組閣、現在に至る

Slide 5

Slide 5 text

5 Copyright © 2024 Bitkey Inc. All right reserved. 2. ビットキーのサービス・プロダクト紹介

Slide 6

Slide 6 text

Copyright © Bitkey Inc. All rights reserved.

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

8 Copyright © 2024 Bitkey Inc. All right reserved.

Slide 9

Slide 9 text

9 Copyright © 2024 Bitkey Inc. All right reserved. 2. サービス紹介 homehubは「暮らし」に関わる様々な体験を実現する。その中心にあるのがスマートロック

Slide 10

Slide 10 text

10 Copyright © 2024 Bitkey Inc. All right reserved. workhubは「働く空間」と「働くひとや業務」をつなぎ、快適な仕事を実現する。こちらも多くの体験の中心にスマートロックがある 2. サービス紹介

Slide 11

Slide 11 text

11 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起こる様々なインシデント

Slide 12

Slide 12 text

12 Copyright © 2024 Bitkey Inc. All right reserved.

Slide 13

Slide 13 text

13 Copyright © 2024 Bitkey Inc. All right reserved. あらゆる事業領域でインシデントが起こり得る

Slide 14

Slide 14 text

14 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント Productの構成（bitlock MINIの例）

Slide 15

Slide 15 text

15 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント 機構部品： カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 電気部品： ・電源用基板 ・通信用基板等 Productの構成（bitlock MINIの例） ハードウェア

Slide 16

Slide 16 text

16 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント 電気部品： ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる 機構部品： カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例） ハードウェア ファームウェア

Slide 17

Slide 17 text

17 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント 電気部品： ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる BLE 機構部品： カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例） ファームウェア ハードウェア ソフトウェア

Slide 18

Slide 18 text

18 Copyright © 2024 Bitkey Inc. All right reserved. 3. 日々起きる様々なインシデント 電気部品： ・電源用基板 ・通信用基板等 ファームウェアは 基板上の専用のICに 書き込まれる BLE 機構部品： カバー、電池ボックス、 ギヤ、つまみ、ホルダ等 Productの構成（bitlock MINIの例） ハードウェア ファームウェア ソフトウェア あらゆる技術領域でインシデントが起こり得る

Slide 19

Slide 19 text

19 Copyright © 2024 Bitkey Inc. All right reserved. 4. 従来のビットキーのインシデント対応の流れと課題

Slide 20

Slide 20 text

20 Copyright © 2024 Bitkey Inc. All right reserved. 従来のインシデント対応の全体の流れ 課 題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 分 類 & 優 先 度 判 断 4. 従来のビットキーのインシデント対応の流れと課題

Slide 21

Slide 21 text

21 Copyright © 2024 Bitkey Inc. All right reserved. 課 題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 分 類 & 優 先 度 判 断 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 従来のインシデント対応の全体の流れ 4. 従来のビットキーのインシデント対応の流れと課題

Slide 22

Slide 22 text

22 Copyright © 2024 Bitkey Inc. All right reserved. 課 題 の 検 知 解 析 対 策 検 討 対 策 実 施 振 り 返 り ・ 知 見 蓄 積 ビットキーでは プロダクトに関する市場問い合わせ を集約するSlackのchが存在 (#dev_前衛。通称「前衛」) 分 類 & 優 先 度 判 断 基本的に一つのスレッド内で完結 従来のインシデント対応の全体の流れ 4. 従来のビットキーのインシデント対応の流れと課題

Slide 23

Slide 23 text

23 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 24

Slide 24 text

24 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 25

Slide 25 text

25 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 26

Slide 26 text

26 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 27

Slide 27 text

27 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 3. インシデント対応に追われることによる本来の業務へ悪影響 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 28

Slide 28 text

28 Copyright © 2024 Bitkey Inc. All right reserved. 1. どの領域でどんな課題が起きているか、全体把握できている人がいない a. 適切な優先度判断ができずに、気が付いたときには解約寸前状態になる場合も 2. 個々のインシデント対応の局所化・属人化 a. 「スレッド参加者以外詳細知らない」「同じ事象・問い合わせが再発する」と いう状況になりがち 3. インシデント対応に追われることによる本来の業務へ悪影響 a. 開発担当者が「調査」「火消しの暫定対応」に追われる b. サポート担当者が「インシデント発生時のお客様調整」に追われる c. 結果として組織全体が疲弊する(開発業務やプロジェクト推進業務に悪影響) 従来のビットキーのインシデント対応の課題 4. 従来のビットキーのインシデント対応の流れと課題

Slide 29

Slide 29 text

29 Copyright © 2024 Bitkey Inc. All right reserved. 5. 課題解決に向けて現在行っていること

Slide 30

Slide 30 text

30 Copyright © 2024 Bitkey Inc. All right reserved. キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 31

Slide 31 text

31 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 ● インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」

Slide 32

Slide 32 text

32 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 ● インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」

Slide 33

Slide 33 text

33 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」

Slide 34

Slide 34 text

34 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 サポート担当はこの根拠に従って 前衛問い合わせを起票

Slide 35

Slide 35 text

35 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」 サポート担当はこの根拠に従って 前衛問い合わせを起票 開発部隊はこの根拠に従って インシデント対応

Slide 36

Slide 36 text

36 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 ● インシデントの完了条件の共通化 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」

Slide 37

Slide 37 text

37 Copyright © 2024 Bitkey Inc. All right reserved. 1. 共通化（事業領域/技術領域を横断した共通化) ● 「前衛投稿時の緊急度判断」の共通化 ● 「緊急度ごと」のインシデント起票条件の共通化 ● インシデントの完了条件の共通化 ● 以下を以てインシデント対応完了とする ○ 暫定処置完了 ○ ステークホルダーを集めた「振り返り会・ポストモーテム」の実施完了 ● 再発防止策・恒久対策の実施状況は問わない 5. 課題解決に向けて現在行っていること キーワードは「共通化」と「可視化」と「効率化」

Slide 38

Slide 38 text

38 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 39

Slide 39 text

39 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化 ○ 前衛問い合わせ傾向 （Notion） ○ インシデントchの立ち上げ率 （Notion） ○ 個別のインシデントの進捗 （Waroom） ○ ポストモーテム実施率 （Notion） ○ ポストモーテム後のアクションアイテム実施率 （Notion） キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 40

Slide 40 text

40 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化（前衛問い合わせ傾向）※ダミーデータです キーワードは「共通化」と「可視化」と「効率化」 お客様ごとの過去xヶ月の緊急度高・最高の問い合わせ数 5. 課題解決に向けて現在行っていること

Slide 41

Slide 41 text

41 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化（インシデントchの立ち上げ率）※ダミーデータです ○ 前衛問い合わせ傾向 ○ インシデントchの立ち上げ率 ○ 個別のインシデントの進捗 ○ ポストモーテム実施率 ○ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 40 3 8 yyy

Slide 42

Slide 42 text

42 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化（個別のインシデントの進捗：waroomページ上で管理） キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 43

Slide 43 text

43 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化（ポストモーテム実施率）※ダミーデータです ○ 前衛問い合わせ傾向 ○ インシデントchの立ち上げ率 ○ 個別のインシデントの進捗 ○ ポストモーテム実施率 ○ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 44

Slide 44 text

44 Copyright © 2024 Bitkey Inc. All right reserved. 2. 可視化（ポストモーテム後のアクションアイテム実施率）※ダミーデータです ○ 前衛問い合わせ傾向 ○ インシデントchの立ち上げ率 ○ 個別のインシデントの進捗 ○ ポストモーテム実施率 ○ ポストモーテム後のアクションアイテム実施率 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 45

Slide 45 text

45 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 46

Slide 46 text

46 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 47

Slide 47 text

47 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ○ /waroomコマンドによるインシデントch作成 ○ サービスごとのステークホルダーの自動招待 ○ サービスごとのRunbookに従ったインシデントステータスの自動変更 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること

Slide 48

Slide 48 text

48 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ○ /waroomコマンドによるインシデントch作成 ○ サービスごとのステークホルダーの自動招待 ○ サービスごとのRunbookに従ったインシデントステータスの自動変更 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類

Slide 49

Slide 49 text

49 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ○ /waroomコマンドによるインシデントch作成 ○ サービスごとのステークホルダーの自動招待 ○ サービスごとのRunbookに従ったインシデントステータスの自動変更 ● waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類

Slide 50

Slide 50 text

50 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ○ /waroomコマンドによるインシデントch作成 ○ サービスごとのステークホルダーの自動招待 ○ サービスごとのRunbookに従ったインシデントステータスの自動変更 ● waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 ○ 対応中のインシデントのステートドキュメント自動作成 ○ ポストモーテム実施に向けたインシデント概要の自動要約 キーワードは「共通化」と「可視化」と「効率化」 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類

Slide 51

Slide 51 text

51 Copyright © 2024 Bitkey Inc. All right reserved. 3. 効率化（多くの部分をwaroomに依存） ● Slack上のwaroomアプリによる「個別のインシデント対応」の効率化 ○ /waroomコマンドによるインシデントch作成 ○ サービスごとのステークホルダーの自動招待 ○ サービスごとのRunbookに従ったインシデントステータスの自動変更 ● waroomの「生成AIを用いたSlack インシデントchの自動要約」による効率化 ○ 対応中のインシデントのステートドキュメント自動作成 ○ ポストモーテム実施に向けたインシデント概要の自動要約 キーワードは「共通化」と「可視化」と「効率化」 「あらゆる事業領域」「あらゆる技術領域」で起きるインシデントをかなり良い感じに 要約してくれており、ポストモーテム資料作成時間が大幅に削減 5. 課題解決に向けて現在行っていること 主に「homehub」「workhub」「device」のサービスでインシデント対応を分類

Slide 52

Slide 52 text

52 Copyright © 2024 Bitkey Inc. All right reserved. 6.残存する課題と今後に向けて

Slide 53

Slide 53 text

53 Copyright © 2024 Bitkey Inc. All right reserved. 残っている課題と今後に向けて 6.残存する課題と今後に向けて ①個々のインシデント対応がまだまだ洗練されていない ● 対応に慣れている部署とそうでない部署でバラつきが多い ● 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない ● 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 ● ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い ● 開発・QA・ビジネスの各プロセスに対するフィードバックができていない

Slide 54

Slide 54 text

54 Copyright © 2024 Bitkey Inc. All right reserved. ①個々のインシデント対応がまだまだ洗練されていない ● 対応に慣れている部署とそうでない部署でバラつきが多い ● 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない ● 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 ● ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い ● 開発・QA・ビジネスの各プロセスに対するフィードバックができていない 残っている課題と今後に向けて 6.残存する課題と今後に向けて ● 普及に向けた継続的な社内への発信・啓蒙活動 ● プロダクト開発全体の優先順位付けルールの検討・策定 ● 効率化・システム化に向けた専属担当のアサインや体制の整備

Slide 55

Slide 55 text

55 Copyright © 2024 Bitkey Inc. All right reserved. ①個々のインシデント対応がまだまだ洗練されていない ● 対応に慣れている部署とそうでない部署でバラつきが多い ● 「新規開発」と「既存の課題解決」を包含した優先順位付けがまだできない ● 手作業が多い ②インシデントを未然防止する為の施策がまだまだ不充分 ● ポストモーテムで検討した「再発防止に向けた個別アクション」の実施率が低い ● 開発・QA・ビジネスの各プロセスに対するフィードバックができていない 残っている課題と今後に向けて 6.残存する課題と今後に向けて ● 普及に向けた継続的な社内への発信・啓蒙活動 ● プロダクト開発全体の優先順位付けルールの検討・策定 ● 効率化・システム化に向けた専属担当のアサインや体制の整備 ● インシデント要因となりうる要素の洗い出しと、事前検知方法の検討・運用 ● インシデントが発生した要因となったプロセスを特定したうえで プロセス自体を是正対応をする様な体制・ルールの整備

Slide 56

Slide 56 text

56 End of File Copyright © 2024 Bitkey Inc. All right reserved.