Slide 1

Slide 1 text

Azureで作った 
 さいきようのサポートシステム 2024.10.19 Azure Travelers勉強会 福岡の旅 田口 大智 1
 #AzureTravelers 


Slide 2

Slide 2 text

アジェンダ 2
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 


Slide 3

Slide 3 text

自己紹介 3
 田口 大智 ( @hirotomotaguchi) 
 Cloud Security Architect Microsoft MVP 
 経歴
 ● 福岡県出身・東京都在住
 ● 福岡大学附属大濠高校:野球部
 ● 明治大学:野球部
 ● コンサルティング会社:ISO27000(ISMS)、ISMAP 等
   
 現在の仕事 
 ● 現職:クラウドネイティブ
 ● セキュリティ系
 ● CASB/SWG/EDR/SIEM等の構築運用支援や運用サポート
 ● AI系
 ● AOAI/AI Search の構築支援
 ●副業:SecureNavi株式会社(SaaSへのAI組み込み/AIMS)
   
 趣味
 ● ダンス・野球・ゴルフ(初心者)


Slide 4

Slide 4 text

しれっとブログ書いて出したらバズった(2023年初頭) Azure の管理者権限を持っていたのをいいことに、AOAI を勝手に検証し てブログを出したら、バズってそこからAI推進担当に!
 4


Slide 5

Slide 5 text

AIへの取り組み 5
 製品カット(PaaS) 
 製品カット(SaaS) 
 ユースケースカット 
 ChatGPT API 
 Amazon Bedrock (Claude) 
 Google Gemini Azure OpenAI 
 Copilot for M365 
 Gemini for GWS 
 Box AI 
 Notion AI 
 Dashworks 
 Perplexity ✔ サポート補助AI ✔ 議事録AI ✔ セキュリティチェックシー ト記入AI ✔ 黒塗りAI(開示請求 
 ✔ 社内規定AI ✔ 視覚障害者向けAI ✔ ラベリングAI ✔ AI×OCR ✔ 自作 Slack AI ✔ AIガバナンス(AIMS) 


Slide 6

Slide 6 text

最初に顧客サポート(Ask※社内用語)に目をつける 6


Slide 7

Slide 7 text

サポートシステムにAIを組み込む際の要件(当時) 7
 • 過去の対応履歴を元に解答案を作成すること。 
 • 【重要】AIによる解答案の裏どりができること。 
 • Slack で実施しているサポートシステムに組み込むこ と。

Slide 8

Slide 8 text

こう作った(2023年6月) 8
 当時は On your Data が流行っていたが、タスク管理ツールからエクスポートした構造化 データ(csv)を用いてプロトタイプを作成し、リリースしました! 
 利用イメージ 
 XXXですか? はい、XXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXです。 
  
 🔸参考資料
 1. XXX URL 2. XXX URL
 3. XXX URL Data Source(CSV) 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com Title, Section, URL を表示する。

Slide 9

Slide 9 text

こう作った(2023年6月) 9
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼

Slide 10

Slide 10 text

こう作った(2023年6月) 10
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼

Slide 11

Slide 11 text

こう作った(2023年6月) 11
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼ XXをしたいと考えています。XXXを参考に XXまでやりましたが、XXを実行しようとす るとエラーとなってしまいます。
 解消方法を教えていただけますでしょう か?よろしくお願い申し上げます。
 XXに関するエラーについて 
 チケット詳細 
 チケット名 
 Asana

Slide 12

Slide 12 text

こう作った(2023年6月) 12
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼

Slide 13

Slide 13 text

こう作った(2023年6月) 13
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼

Slide 14

Slide 14 text

14
 デビュー当時は予想以上の活躍

Slide 15

Slide 15 text

15
 <デビュー1ヶ月の成績(イメージ)> • 打率:2割ちょうど 
 • ホームラン:5本 
 • 年俸:20万円 出所:筆者がDALL·Eで作成

Slide 16

Slide 16 text

16
 めでたし?めでたし?

Slide 17

Slide 17 text

17
 注意:写真と直接的な関係はありません。 
 出所:https://www.nishinippon.co.jp/image/805992/ 
 上がっていく期待値に 
 答えられない・・・

Slide 18

Slide 18 text

アジェンダ 18
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 


Slide 19

Slide 19 text

うまくいかない要因の分析 19
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 20

Slide 20 text

余談)AIの進化はやべえから他の部分を頑張ると良さげ 20
 第1次ブーム(1950-70) 第2次ブーム(1980) 第3次ブーム(2000) 
 生成AI(2022) • 1997年: IBMがチェス世界チャンピオンを破る
 • 2010年代: ディープラーニングブーム • 2016年: Google AIが囲碁の世界チャンピオンを破る
 -生成AIの進化(一部抜粋)- • 2017年:Transformer の論文が出る 
 • 2022年
 • 11月:ChatGPT 公開(4000トークン ? ※推察
 • 12月:ChatGPT ユーザー1億人突破 
 • 2023年
 • 3月:GPT-4 (3.2万トークン 
 • 7月:Claude 2(10万トークン 
 • 11月:Claude 2.1(20万トークン 
 • 11月:GPT-4-turbo (12万トークン 
 • 2024年
 • 2月:Google Gemini Pro 1.5(100万トークン 
 • 2月:Claude 3 Haiku/Sonet/Opus • 4月:GPT-4o • 9月:OpenAI o1(IQテスト120点相当? 
 • 1980年代: エキスパートシステムの商業 的成功
 • 1980年代後半: ニューラルネットワーク • 1950年代初頭: 「チューリングテスト」の 提案 • 1950 - 60年代: シンボリックAIの黄金時 代

Slide 21

Slide 21 text

再掲)うまくいかない要因の分析 21
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 22

Slide 22 text

データを整える - データソースの自動アップデート 22
 URL:https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0   ▼デモ動画▼ Function Calling 


Slide 23

Slide 23 text

データを整える - Slack スタンプでデータソースに登録 23


Slide 24

Slide 24 text

データを整える - OCRと組み合わせでデータ作成 24
 Data Source(CSV) 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com AOAI (Function Calling) Document Intelligence Document (PDF, Word)

Slide 25

Slide 25 text

データを整える - OCRと組み合わせでデータ作成(余談) 25


Slide 26

Slide 26 text

案件によっては Batch API を使っている 26


Slide 27

Slide 27 text

27
 だいぶ良くなったけど 
 まだまだ足りない

Slide 28

Slide 28 text

アジェンダ 28
 1
 2
 3
 取り組みの経緯と初期バージョン 
 アプローチ1. データ拡充 
 アプローチ2-5. より使いやすくする 


Slide 29

Slide 29 text

サポートの仕事は質問を打ち返すだけではない 29
 問題の切り分け ログの分析 メーカーへエスカレ 公開情報の調査

Slide 30

Slide 30 text

スキルを定義して、ワンクリックで呼び出せるように! 30
 シチュエーションに応じ て、
 エンジニアがスキルを使 い分ける 須藤あい (AI)


Slide 31

Slide 31 text

Ask2Ask スキル(これまでの過去データ検索) 31
 利用イメージ 
 XXXですか? はい、XXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXです。 
  
 🔸参考資料
 1. XXX URL 2. XXX URL
 3. XXX URL Data Source(CSV) 
 Title question answer URL XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com XXXXXX XXX XXXXXX XXX XXXXXX XXX XXX.com Title, Section, URL を表示する。

Slide 32

Slide 32 text

(再掲)うまくいかない要因の分析 32
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 33

Slide 33 text

アプローチ2. Web Search スキル 33
 須藤あい (AI)
 Function Calling+ 
 Bing Search APIで 
 Webの情報を調査 ※ 時間あれば画面見せる

Slide 34

Slide 34 text

(再掲)うまくいかない要因の分析 34
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 35

Slide 35 text

アプローチ3. エスカレーションスキル 35
 XXで問題が発生して います。 シークレットブラウザで 解消しませんか? お客様 
 サポート 
 エンジニア 
 しません。 お客様 
 それでは、問題が発生 しているユーザーを教 えてください。 サポート 
 エンジニア 
 私です。 お客様 
 メール文面 
 担当者様
 XXをしたいと考えています。XXXを参考 にXXまでやりましたが、XXを実行しようと するとエラーとなってしまいます。
 
 <切り分け状況>
 XXXX 
 よろしくお願いします。


Slide 36

Slide 36 text

(再掲)うまくいかない要因の分析 36
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 37

Slide 37 text

アプローチ4. 切り分けAI 
 37
 出所:AWS 技術的なお問い合わせに関するガイドライン 主語がないとか、 
 具体的ではないと か、
 あるあるだ! 須藤あい (AI)


Slide 38

Slide 38 text

(再掲)うまくいかない要因の分析 38
 データの有無 要因 出現率 有 無 検索DBの問題 AIモデルの生成ミス データベースに情報が 
 不足している 少 多 自社ではどうにもできない問 い合わせ 質問の仕方がよくない プロンプトエンジニアリングは 
 少し頑張るが、基本時間が解決する アプローチ アプローチ1. データ拡充 
 アプローチ2. Web Search 
 アプローチ3. エスカレAI 
 アプローチ4. 切り分けAI 
 アプローチ5. コンテキスト拡大

Slide 39

Slide 39 text

アプローチ5. コンテキストを増やす 39
 ただ増やせばいい 
 という問題ではない が、
 調整の余地がある。 須藤あい (AI)
 出所:https://www.anthropic.com/news/contextual-retrieval

Slide 40

Slide 40 text

ブログ執筆スキル(おまけ) 40
 40
 XXで問題が発生して います。 シークレットブラウザで 解消しませんか? お客様 
 サポート 
 エンジニア 
 しません。 お客様 
 それでは、問題が発生 しているユーザーを教 えてください。 サポート 
 エンジニア 
 私です。 お客様 
 Xに関するよくあるお問い合わせ
 ## XXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXX ## XXXX XXXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXX 
 アイキャッチ案
 (DALL·Eで生成)

Slide 41

Slide 41 text

今後やりたいこと - VoiceRAG でサポート 41


Slide 42

Slide 42 text

終わりに 42
 • テクニカルサポートと生成AIはめっちゃ相性が良 いと思うので、どんどん組み入れていくべき。 
 • 作業工程を細かく分割して、使いやすくUXを改良 していく。 
 • データが非常に重要になるので、データをどれだ け綺麗に蓄積していけるかがカギ。