Azure で作ったサポートシステム

Transcript

1. Azureで作った 
 さいきようのサポートシステム 2024.10.19 Azure Travelers勉強会 福岡の旅 田口 大智 1
 #AzureTravelers 

2. アジェンダ 2
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 

3. 自己紹介 3
 田口 大智 ( @hirotomotaguchi) 
 Cloud Security Architect Microsoft MVP 
 経歴
 • 福岡県出身・東京都在住
 • 福岡大学附属大濠高校：野球部
 • 明治大学：野球部
 • コンサルティング会社：ISO27000（ISMS）、ISMAP 等
 　 
 現在の仕事 
 • 現職：クラウドネイティブ
 • セキュリティ系
 • CASB/SWG/EDR/SIEM等の構築運用支援や運用サポート
 • AI系
 • AOAI/AI Search の構築支援
 •副業：SecureNavi株式会社（SaaSへのAI組み込み/AIMS）
 　 
 趣味
 • ダンス・野球・ゴルフ（初心者）

4. しれっとブログ書いて出したらバズった（2023年初頭） Azure の管理者権限を持っていたのをいいことに、AOAI を勝手に検証し てブログを出したら、バズってそこからAI推進担当に！
 4

5. AIへの取り組み 5
 製品カット（PaaS） 
 製品カット（SaaS） 
 ユースケースカット 
 ChatGPT API 
 Amazon Bedrock （Claude） 
 Google Gemini Azure OpenAI 
 Copilot for M365 
 Gemini for GWS 
 Box AI 
 Notion AI 
 Dashworks 
 Perplexity ✔ サポート補助AI ✔ 議事録AI ✔ セキュリティチェックシー ト記入AI ✔ 黒塗りAI（開示請求 
 ✔ 社内規定AI ✔ 視覚障害者向けAI ✔ ラベリングAI ✔ AI×OCR ✔ 自作 Slack AI ✔ AIガバナンス(AIMS) 

6. 最初に顧客サポート（Ask※社内用語）に目をつける 6

7. サポートシステムにAIを組み込む際の要件（当時） 7
 • 過去の対応履歴を元に解答案を作成すること。 
 • 【重要】AIによる解答案の裏どりができること。 
 • Slack で実施しているサポートシステムに組み込むこ と。
8. こう作った（2023年6月） 8
 当時は On your Data が流行っていたが、タスク管理ツールからエクスポートした構造化 データ(csv)を用いてプロトタイプを作成し、リリースしました！ 
 利用イメージ 
 XXXですか？ はい、XXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXです。 
 　
 🔸参考資料
 1. XXX URL 2. XXX URL
 3. XXX URL Data Source（CSV） 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com Title, Section, URL を表示する。
9. こう作った（2023年6月） 9
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼
10. こう作った（2023年6月） 10
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼
11. こう作った（2023年6月） 11
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼ XXをしたいと考えています。XXXを参考に XXまでやりましたが、XXを実行しようとす るとエラーとなってしまいます。
 解消方法を教えていただけますでしょう か？よろしくお願い申し上げます。
 XXに関するエラーについて 
 チケット詳細 
 チケット名 
 Asana
12. こう作った（2023年6月） 12
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼
13. こう作った（2023年6月） 13
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼
14. 14
 デビュー当時は予想以上の活躍
15. 15
 <デビュー1ヶ月の成績(イメージ)> • 打率：2割ちょうど 
 • ホームラン：5本 
 • 年俸：20万円 出所：筆者がDALL·Eで作成
16. 16
 めでたし？めでたし？
17. 17
 注意：写真と直接的な関係はありません。 
 出所：https://www.nishinippon.co.jp/image/805992/ 
 上がっていく期待値に 
 答えられない・・・
18. アジェンダ 18
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 

19. うまくいかない要因の分析 19
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
20. 余談）AIの進化はやべえから他の部分を頑張ると良さげ 20
 第1次ブーム（1950-70） 第2次ブーム（1980） 第3次ブーム（2000） 
 生成AI（2022） • 1997年: IBMがチェス世界チャンピオンを破る
 • 2010年代: ディープラーニングブーム • 2016年: Google AIが囲碁の世界チャンピオンを破る
 -生成AIの進化(一部抜粋)- • 2017年：Transformer の論文が出る 
 • 2022年
 • 11月：ChatGPT 公開（4000トークン ? ※推察
 • 12月：ChatGPT ユーザー1億人突破 
 • 2023年
 • 3月：GPT-4 （3.2万トークン 
 • 7月：Claude 2（10万トークン 
 • 11月：Claude 2.1（20万トークン 
 • 11月：GPT-4-turbo （12万トークン 
 • 2024年
 • 2月：Google Gemini Pro 1.5（100万トークン 
 • 2月：Claude 3 Haiku/Sonet/Opus • 4月：GPT-4o • 9月：OpenAI o1（IQテスト120点相当？ 
 • 1980年代: エキスパートシステムの商業 的成功
 • 1980年代後半: ニューラルネットワーク • 1950年代初頭: 「チューリングテスト」の 提案 • 1950 - 60年代: シンボリックAIの黄金時 代
21. 再掲）うまくいかない要因の分析 21
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
22. データを整える - データソースの自動アップデート 22
 URL：https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 　 ▼デモ動画▼ Function Calling 

23. データを整える - Slack スタンプでデータソースに登録 23

24. データを整える - OCRと組み合わせでデータ作成 24
 Data Source（CSV） 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com AOAI (Function Calling) Document Intelligence Document (PDF, Word)
25. データを整える - OCRと組み合わせでデータ作成（余談） 25

26. 案件によっては Batch API を使っている 26

27. 27
 だいぶ良くなったけど 
 まだまだ足りない
28. アジェンダ 28
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 

29. サポートの仕事は質問を打ち返すだけではない 29
 問題の切り分け ログの分析 メーカーへエスカレ 公開情報の調査
30. スキルを定義して、ワンクリックで呼び出せるように！ 30
 シチュエーションに応じ て、
 エンジニアがスキルを使 い分ける 須藤あい (AI)

31. Ask2Ask スキル（これまでの過去データ検索） 31
 利用イメージ 
 XXXですか？ はい、XXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXです。 
 　
 🔸参考資料
 1. XXX URL 2. XXX URL
 3. XXX URL Data Source（CSV） 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com Title, Section, URL を表示する。
32. （再掲）うまくいかない要因の分析 32
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
33. アプローチ2. Web Search スキル 33
 須藤あい (AI)
 Function Calling＋ 
 Bing Search APIで 
 Webの情報を調査 ※ 時間あれば画面見せる
34. （再掲）うまくいかない要因の分析 34
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
35. アプローチ3. エスカレーションスキル 35
 XXで問題が発生して います。 シークレットブラウザで 解消しませんか？ お客様 
 サポート 
 エンジニア 
 しません。 お客様 
 それでは、問題が発生 しているユーザーを教 えてください。 サポート 
 エンジニア 
 私です。 お客様 
 メール文面 
 担当者様
 XXをしたいと考えています。XXXを参考 にXXまでやりましたが、XXを実行しようと するとエラーとなってしまいます。
 
 ＜切り分け状況＞
 XXXX 
 よろしくお願いします。

36. （再掲）うまくいかない要因の分析 36
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
37. アプローチ4. 切り分けAI 
 37
 出所：AWS 技術的なお問い合わせに関するガイドライン 主語がないとか、 
 具体的ではないと か、
 あるあるだ！ 須藤あい (AI)

38. （再掲）うまくいかない要因の分析 38
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大
39. アプローチ5. コンテキストを増やす 39
 ただ増やせばいい 
 という問題ではない が、
 調整の余地がある。 須藤あい (AI)
 出所：https://www.anthropic.com/news/contextual-retrieval
40. ブログ執筆スキル（おまけ） 40
 40
 XXで問題が発生して います。 シークレットブラウザで 解消しませんか？ お客様 
 サポート 
 エンジニア 
 しません。 お客様 
 それでは、問題が発生 しているユーザーを教 えてください。 サポート 
 エンジニア 
 私です。 お客様 
 Xに関するよくあるお問い合わせ
 ## XXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXX ## XXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXX 
 アイキャッチ案
 （DALL·Eで生成）
41. 今後やりたいこと - VoiceRAG でサポート 41

42. 終わりに 42
 • テクニカルサポートと生成AIはめっちゃ相性が良 いと思うので、どんどん組み入れていくべき。 
 • 作業工程を細かく分割して、使いやすくUXを改良 していく。 
 • データが非常に重要になるので、データをどれだ け綺麗に蓄積していけるかがカギ。