[2026-08-25]AIによる自動化と人の介入、その狭間で揺れる信頼性についての俺の思いを、波よ聞いてくれ

ツナギメオフライン ベンキョウカイ #9
LTセッション
https://tsunagime-offline.connpass.com/event/399691/

Transcript

1. AIによる自動化と人の介入、 その狭間で揺れる信頼性についての 俺の思いを、波よ聞いてくれ @tosite / 手島 尚人 2026年8月25日（火） ツナギメオフライン ベンキョウカイ #9 マネーフォワード 福岡開発拠点
2. はじめまして
3. はじめまして 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室 エンジニアエンゲージメントグループ Fukuoka TechPR（技術広報） 手島 尚人 ／ tosite
4. はじめまして 趣味 キャンプ・登山・旅行・ ドライブ・車中泊・料理・ サウナ・温泉・かっちゃん
5. はじめまして 趣味 キャンプ・登山・旅行・ ドライブ・車中泊・料理・ サウナ・温泉・かっちゃん
6. What is かっちゃん？
7. はじめまして
8. はじめまして 洞窟探検家・写真家 クレイジージャーニー 出演歴あり
9. はじめまして 何気なく見始めた YouTubeの動画で ドハマりしてしまい ファンに♡
10. はじめまして チャンネル登録・高評価も よろしくお願いします♡ 吉田勝次 の 地球探検TV
11. 閑話休題
12. はじめまして 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室 エンジニアエンゲージメントグループ Fukuoka TechPR（技術広報） 手島 尚人 ／ tosite
13. はじめまして 株式会社マネーフォワード ERP開発本部 福岡第一開発部 Guardianグループ リーダー 兼 エンジニアリング戦略室 エンジニアエンゲージメントグループ Fukuoka TechPR（技術広報） 手島 尚人 ／ tosite
14. って何？
15. Guardianグループって何？ 攻めと守りの運用の定義 🛡守りの運用 問い合わせ・インシデント対応などの 「当たり前品質」を守るための対応 ⚔攻めの運用 運用改善やプロダクトの価値向上に つながる、将来お客様や運用を楽に するための改善 最高速で守りの運用を対応し 空いた時間で機能改善を行う！ NEXT CREへ 横断組織化？ ・CREとして「正しく守る」ためには SREのマインドが必要だと気づく ・事前検知を強化して先回りして 対応したい ・そのための検知する体制を攻めの 運用で構築していきたい ・CSと連携して顧客要望を収集、 PdMと連携して改善策を議論する ・QAと連携してテスト自動化などの 品質を高める活動を推進する ・SREと連携してSWEの観点から アプリケーションの監視を行う ・開発者のコストを下げるべく CI/CDの整備を行う etc... 「守って攻める」から 「守りながら攻める」へ！ 改善と予防を広げていく 組織へと進化中！
16. Guardianグループって何？ 攻めと守りの運用の定義 🛡守りの運用 問い合わせ・インシデント対応などの 「当たり前品質」を守るための対応 ⚔攻めの運用 運用改善やプロダクトの価値向上に つながる、将来お客様や運用を楽に するための改善 最高速で守りの運用を対応し 空いた時間で機能改善を行う！ NEXT CREへ 横断組織化？ ・CREとして「正しく守る」ためには SREのマインドが必要だと気づく ・事前検知を強化して先回りして 対応したい ・そのための検知する体制を攻めの 運用で構築していきたい ・CSと連携して顧客要望を収集、 PdMと連携して改善策を議論する ・QAと連携してテスト自動化などの 品質を高める活動を推進する ・SREと連携してSWEの観点から アプリケーションの監視を行う ・開発者のコストを下げるべく CI/CDの整備を行う etc... 「守って攻める」から 「守りながら攻める」へ！ 改善と予防を広げていく 組織へと進化中！
17. Guardianグループって何？ 攻めと守りの運用の定義 🛡守りの運用 問い合わせ・インシデント対応などの 「当たり前品質」を守るための対応 ⚔攻めの運用 運用改善やプロダクトの価値向上に つながる、将来お客様や運用を楽に するための改善 最高速で守りの運用を対応し 空いた時間で機能改善を行う！ もう一度考えるSRE #2 in 福岡 / 「越境するSRE」 NEXT CREへ 横断組織化？ 9/11 もう一度考えるSRE #2 in 福岡 / 「越境するSRE」で 登壇予定！ ・CSと連携して顧客要望を収集、 ・CREとして「正しく守る」ためには SREのマインドが必要だと気づく ・事前検知を強化して先回りして 対応したい ・そのための検知する体制を攻めの 運用で構築していきたい PdMと連携して改善策を議論する ・QAと連携してテスト自動化などの 品質を高める活動を推進する ・SREと連携してSWEの観点から アプリケーションの監視を行う ・開発者のコストを下げるべく CI/CDの整備を行う etc... 「守って攻める」から 「守りながら攻める」へ！ 改善と予防を広げていく 組織へと進化中！
18. 閑話休題
19. Guardianグループって何？ 攻めと守りの運用の定義 🛡守りの運用 問い合わせ・インシデント対応などの 「当たり前品質」を守るための対応 ⚔攻めの運用 運用改善やプロダクトの価値向上に つながる、将来お客様や運用を楽に するための改善 最高速で守りの運用を対応し 空いた時間で機能改善を行う！ NEXT CREへ 横断組織化？ ・CREとして「正しく守る」ためには SREのマインドが必要だと気づく ・事前検知を強化して先回りして 対応したい ・そのための検知する体制を攻めの 運用で構築していきたい ・CSと連携して顧客要望を収集、 PdMと連携して改善策を議論する ・QAと連携してテスト自動化などの 品質を高める活動を推進する ・SREと連携してSWEの観点から アプリケーションの監視を行う ・開発者のコストを下げるべく CI/CDの整備を行う etc... 「守って攻める」から 「守りながら攻める」へ！ 改善と予防を広げていく 組織へと進化中！
20. AI時代にどう「守る」？ てっしー前に 「認知負荷が爆発した」 って言ってなかった？
21. あの日諦めたスクラムの答えを僕達はまだ探している。〜守ることと、諦めることと、それでも前に進むチームの話〜
22. はい・・・
23. 現在もまだ絶賛奮闘中ですが・・・ 少しだけ付き合い方が わかってきました
24. それはそれとして本題 AI時代の問い合わせ 組織について つらつらと
25. AI時代の問い合わせ組織についてつらつらと 今まで 問い合わせが来たら対応をする ✉ 改善は対応後に 余力があれば行う
26. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う ⚡起きる前 ※ 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 ※ 問題が起きる前だけでなく人の手による介入が発生する前のことも含む 🛡起きてから 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
27. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
28. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
29. AI時代の問い合わせ組織についてつらつらと 現在は一部複雑な仕様確認や サポートサイトに記載のないことに 今まで ついてGuardianが「問い合わせ」と いう形で仕様確認の依頼を 問い合わせが来たら対応をする 受け付けている 一般的な顧客だけでなく 社内顧客からの問い合わせなども こちらで対応している ✉ 改善は対応後に 余力があれば行う 現在 問い合わせを二つのフェーズに分けて考える ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
30. AI時代の問い合わせ組織についてつらつらと ここを「仕様確認Bot」を導入する ことで負荷の削減を図りつつ、他の 用途でも使えるよう自動化したい 今まで また、回答作成時にサポートサイトの 問い合わせが来たら対応をする 情報と突合することで、精度高く 回答できるようにしたい ✉ サポートサイトの更新はお客様の 問題解決だけでなく Botの性能向上にもにもつながる 改善は対応後に 余力があれば行う 現在 問い合わせを二つのフェーズに分けて考える ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
31. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
32. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
33. AI時代の問い合わせ組織についてつらつらと 今まで 問い合わせが来たら対応をする ✉ 改善は対応後に 余力があれば行う 現在 話せば長くなる・・・ので 問い合わせを二つのフェーズに分けて考える 「マネーフォワード デンキヒツジ」 で検索していただきたいです ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会 AIはデンキヒツジの夢を見るか？ - Claude Codeで構築した自己学習フィードバックループ
34. AI時代の問い合わせ組織についてつらつらと 今まで 現在 問い合わせが来たら対応をする 問い合わせを二つのフェーズに分けて考える ✉ 改善は対応後に 余力があれば行う 今日はこっちのお話 ⚡起きる前 🛡起きてから 予防・先回り ・オブザーバビリティを高める ・事前検知を行う 自動化 ・サポートサイトの整備 ・AIチャットサポートの整備 ・仕様確認Botの導入 一次対応 ・問い合わせ対応Botの導入 回答後 ・問い合わせのナレッジ蓄積と コアメモリのアップデート ・メンバー全員でのふりかえり会
35. 問い合わせ対応Botの 導入について
36. 始めにサンプル
37. 問い合わせ対応Botの導入 CS向けの回答
38. 問い合わせ対応Botの導入 お客様は常に根本解決を 求めているわけではない 解決策があるならそれを 先に提示する コードベース+サポートサイト から裏取りして仕様確認 事実と仮説は分けて記載する
39. これをどう 使っているのか？
40. 問い合わせ対応Botの導入 󰳕コアメモリ アップデート 󰡈回答・クローズ 󰳕CREエスカレ コアメモリ（デンキヒツジ） 🤖CS回答案作成 󰡈CSによる判断 🤖再調査 蓄積したコアメモリを参照 しつつコードベース・ サポートサイトベースを 駆使してCS向けの回答を 作成する Botからの回答を一次評価、 ユーザーに回答できるかを 判断する 追加質問がある場合は Botに再問い合わせもできる CSからの再調査要求を受けて 質問に対しての回答を行う 解決できない場合、 CREエスカレに発展する AIやCSで解決できない場合、 これまでの調査結果を 引き継いで調査を行う
41. 問い合わせ対応Botの導入 󰳕コアメモリ アップデート 🤖CS回答案作成 【メリット】 CSとBot間でのやり取りが見える状態で エスカレしてもらえるため、単に問い合わせを デンキヒツジ 受けるよりも情報量が多い 󰡈CSによる判断 🤖再調査 󰡈回答・クローズ 󰳕CREエスカレ エスカレ前にAIがコードベースで調査を行い 仮説を立てたうえでエスカレしてくれるので アタリをつけて調査に入りやすい 蓄積したコアメモリを参照 しつつコードベース・ サポートサイトベースを 駆使してCS向けの回答を 作成する Botからの回答を一次評価、 ユーザーに回答できるかを 判断する 追加質問がある場合は Botに再問い合わせもできる CSからの再調査要求を受けて 質問に対しての回答を行う 解決できない場合、 CREエスカレに発展する AIやCSで解決できない場合、 これまでの調査結果を 引き継いで調査を行う
42. 一言で言うと 人とAIが互いを補完しつつ 不要な介入を減らす
43. 問い合わせ対応Botの導入 まだPoCの段階ですが 現にこの問い合わせ対応Botで解決できた 問い合わせもいくつかありました
44. 問い合わせ対応Botの導入 AIに任せっきりにするでもない 人間が苦しむでもない 「正しく」AIと向き合いつつ 自分自身もHITLの一部になる そういうCREに私はなりたい
45. 問い合わせ対応Botの 改善を通して 見えてきたもの
46. 問い合わせ対応Botの改善を通して見えてきたもの 問い合わせの仕組み化を通して 気づけばSREのマインドセットが 傍らにあった
47. 問い合わせ対応Botの改善を通して見えてきたもの SREのマインドセットをチームに インストールするうちに徐々に 問い合わせに対する見方が変わってきた
48. 問い合わせ対応Botの改善を通して見えてきたもの それは、問い合わせが 「起きてから」だけでなく 「起きる前」にも 目が向けられるようになったこと
49. 問い合わせ対応Botの改善を通して見えてきたもの 問い合わせを 「発生したイベント」ではなく 「表面化したシグナル」として 見るようになった
50. 問い合わせ対応Botの改善を通して見えてきたもの 問題そのものを起こさない・先に検知する = SREのマインドセット（自動化・観測性） 問題が起きた際に正しく人が介入する = CREのマインドセット（HITL）
51. 問い合わせ対応Botの改善を通して見えてきたもの SREのマインドセット: 検知・緩和 強化した監視・検知の仕組みを元に 問題の早期発見を行うほか、影響を 最小限に留める SREのマインドセット: 自動化 構造化した知識や改善の種を元に 実際に改善し、仕組みに組み込む CREのマインドセット: HITL ♻継続的な信頼性 向上のループ 共通: 知識の構造化 その際に得た知識や組織の資産に 変えるだけでなく改善の種を見つける 問題に発展した場合に人が 正しく介入して早期解決を図る
52. このフィードバックループに 問い合わせを当てはめた結果が 問い合わせ対応Botを取り巻く 一連の仕組みである
53. HITLを上手に回すことだけが ゴールなのではない 人の介入すらも糧にして 次の自動化につなげていく
54. それが僕が望む NEXT CREかもしれない
55. HITLのその先へ！ これからのGuardianの 活躍にご期待ください！
56. ご清聴 ありがとう ございました