0 PUBLIC Azure OpenAIを使ったサービス構築 ふくおかクラウドアライアンスセミナー 11周年事業Microsoft ⽣成AI（Copilot）セミナー 株式会社クラウドネイティブ セキュリティ＆データガバナンスセクション クラウドセキュリティアーキテクト ⽥⼝ ⼤智

1 AIの時代

2 ChatGPTのリリースから1年経つが進化は続く ChatGPTがリリースされてから、1年が経過しますが、進化は⽌まるところを知らず、単なる「ブ ーム」の域を超え、メガトレンドという⾔葉が相応しいものとなってきました。 *1.誰でも使える対話型AI「ChatGPT」は相談相⼿にピッタリだった https://forbesjapan.com/articles/detail/53273 *2. Azure OpenAI Service の⼀般提供開始 ⼤規模かつ⾼度な AI モデルへのアクセスを拡⼤し、企業に付加価値を提供 https://news.microsoft.com/ja-jp/2023/01/23/230123-general-availability-of-azure-openai-service-expands-access-to-large-advanced-ai-models-with-added- enterprise-benefits/ *3. ChatGPT、⽇本語での使い⽅とコツ。料⾦やアプリも紹介 https://www.gizmodo.jp/2023/01/chat-gpt-openai-ai-finance-ai-everything-we-know.html *4. Azure OpenAI Service “on your data” でChatGPTに⾃社データを組み込む https://blog.cloudnative.co.jp/17535/ *5. New models and developer products announced at DevDay https://openai.com/blog/new-models-and-developer-products-announced-at-devday 2022年12⽉ 2023年3⽉ 2023年6⽉ • ⾃社データを組み込ん だプロトタイプが⾼速 に構築できるOn your dataが公開。 On your data公開*4 -2023年6⽉- 4 ⽣成AI×⾃社データが 加速 2023年9⽉ • OpenAIと同じモデルを Azure上で利⽤できる Azure OpenAIがリリー ス。 AOAI提供開始*2 -2023年1⽉- 2 • 100kトークンを処理で きるモデル等の衝撃的 な発表が多数。 OpenAI Dev Day*5 -2023年11⽉- 5 • 2022年11⽉30⽇にプ ロトタイプとして公 開。 • 瞬く前に、世界中に広 がって話題となる。 OpenAI Dev Day*5 -2023年11⽉- 5 • GPT-4が公開される。 • 再び⼤きな話題となる。 GPT-4の提供開始*5 -2023年3⽉- 5 史上最速で ユーザーは 1億⼈を突破

3 事業で価値を発揮できるほど 使えてますか︖

4 ⽣成AI活⽤の理想と現実 この協⼒なツールを⾃社の事業のために活⽤できるのが理想ですが、「事業を加速させる」とい う点で⾒ると、まだまだポテンシャルを発揮できている企業は少ないと捉えています。 あるべき姿 現状 ü ”よくわからんけど強⼒そう”なこのツー ルを使いこなす ü おもちゃではなく、⾃社の事業を加速さ せるために使う ü 確かに流⾏っており、⼀部業界ではかな り利⽤されている（⼀部の開発 等） ü ⽣成AIのポテンシャルを考えると、まだ まだ 理想 現実

5 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

6 ⽥⼝ ⼤智 ( @hirotomotaguchi ) Cloud Security Architect 経歴 l ⭐福岡⼤学附属⼤濠⾼校 - 野球部（太宰府市出⾝）⭐ l 明治⼤学 - 野球部 l ⽇本マイクロソフト - インターン l コンサルティングファーム - セキュリティコンサルタント l 現職 得意領域 l セキュリティ規格遵守（ISO27000、ISMAP 等） l 新しいこと試してブログ書く（今はAIが中⼼） 趣味 l ダンス（Lock, Waack） ブログ l https://blog.cloudnative.co.jp/author/hirotomotaguchi/ ⾃⼰紹介

7 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

No content

代表プロフィール 株式会社クラウドネイティブ 代表取締役社⻑ ⽂部科学省 最⾼情報セキュリティアドバイザー ⿑藤 愼仁 さいとう しんじ l ISO:20000 ITSMS l ISO:27001 ISMS l ISO:27017 クラウドセキュリティ l PCIDSS レベル1 継続監査 l SOC2 セキュリティ及び可⽤性 経験のある認証/監査 l AWS独⾃監査 l 取引先及び当局からの監査 l 上場前監査におけるITアプローチ l エンタープライズJSOX監査 l プライバシーマーク データセンターや科学技術計算向けのサーバーハードウェア、 GPUやコプロセッサを⽤いた⾼密度計算機などの企画・設計に参画後、 国内最⼤級のAWSインテグレーターにて、 情報システム、ネットワーク、セキュリティの3チームを統括し、 情報セキュリティ、個⼈情報、PCIDSS管理責任者を兼務。 2017年に情報システムコンサルティングを主な事業とする 株式会社クラウドネイティブを創業。 ⺠間企業はもちろん、経産省ゼロトラストタスクフォースなど、 ⾏政機関における次期ITインフラ実装を担当し、 2022年7⽉より⽂科省の最⾼情報セキュリティアドバイザーに就任 9

10 情報システムは企業のコア 攻めのITへの変⾰ 企業からITが無くなると事業継続が困難である今の時代、情報システム部⾨は企業のコアと⾔えます。 ITによって⾃在に変化適応できる組織へ再設計し、企業価値を最⼤化するご⽀援をします。 情報システムコンサルティング

実績

実績

実績 意外と変われる霞ヶ関 ⼤賞 霞が関初、フルクラウドで業務・働き⽅を改⾰

No content

私たちの価値

ゼロトラストアーキテクチャの概念に基づく構築

私たちの価値

私たちの価値

ロードマップの例

⽀援の例 お客様 システム⼦会社様

21 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

22 ChatGPTは世界を変える テクノロジ︖

23 Pre-Train されており様々なタスクに応⽤可能 GPT（Generative Pre-trained Transformer）は、その名の通り⼤量のデータで事前学習されて いるため、様々なタスクに簡単に応⽤ができ、敷居がさがりました。 Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト ユースケース（ほんの⼀例） ü サポート業務 ü 翻訳 ü ⽂章校正 ü 教育・トレーニング ü コンテンツ⽣成 ü データ分析のサマリー ü プログラムコードの⽣成・修正 ü マーケティングコンテンツの⽣成 ü セラピー・⼼理学的⽀援 ü ビジネスインテリジェンス ü 法律相談 ü 個⼈の⽇常⽣活⽀援 ü 科学的研究の⽀援 ü ・・・

24 ⾮構造データを取り扱うタスクにも強い これまでデータ解析・利活⽤の⽂脈では構造化されたデータの存在が肝であったが、ChatGPTは ⾮構造化データに強く(?)、データ活⽤のパラダイムシフトじゃ︖ ※. 参考︓IDC white paper: The untapped value of unstructured data | Box Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト 概要 半構造化データ • 構造化データと⾮構造化デー タの中間に位置付けられる • ある程度の構造を持ちながら も厳密な構造は持っていない 構造化データ • 構造化データは、定義されたフ ィールドやカテゴリに分類でき るデータ ⾮構造化データ • ⾮構造化データは、明確な構 造を持たないデータ • あらかじめ定義されたデータ モデルがなく、データはその ままの形式で保存される 具体例 • JSON • XML • RDS • CSV • テキスト • Officeファイル • 画像 • ⾳声、ビデオ これまでのデータ活⽤の主役 ChatGPT時代の 主役！？ データの ⽐率※ 10％ 90％

25 Azure OpenAI でセキュアなシステムを構築可能 Azure OpenAIを利⽤するとOpenAI社と同じモデル※が、Azureのセキュアな環境で利⽤するこ とができます。 注意︓2023年11⽉時点の情報を元に筆者の観点で⽐較しています。 ※. 新モデルの発表から提供開始にはタイムラグがあります。 Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト Azure OpenAI モデル アクセスキーに加えて、プライベート接続等も可能 アクセス 制御 ChatGPT アクセスキーによる制御 基本的に性能は変わらない同じモデル※ マイクロソフト社（OpenAI社の環境とは分離） 運営会社 OpenAI社 あり SLA なし あり サポート なし Azureの他サービスと連携がしやすい 特記事項 最新のモデルが早く使える

26 ChatGPTの情報は古いのでは︖ 企業の情報は知らないのでは︖

27 RAGというアプローチ Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト Retrieval Augmented Generation 検索 拡張 ⽣成 1 6 2 3 USER 検索インデックス （情報ソース） 参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター （iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリ プロンプト 回答 プロンプト & 検索結果 指⽰(ユーザーからの質問に検索結果を参 考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果

28 RAGを⽀える技術 Azure OpenAI/Azure AI Searchを組み合わせる（CompressionExtentionAPI）と、⼤掛かりな 作り込みを必要とせず、RAGを⽐較的簡単に実装することができます。 出所︓筆者作成 Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト 1 6 3 4 2 検索しやすい形に ⾃動変換 5 回答⽣成 USER Azure AI Search （旧︓Cognitive Search） Data Source チャンク （JSON） チャンク （JSON） チャンク （JSON） チャンク分割 Index 化 （検索 できる) { "title": "AIサービス取り扱い⼿順", “contents”: “本書はAIの取り扱い⼿順やFAQです", "url": ”XXX.com/XXX", }, 1チャンク フィールド Azure OpenAI Service

29 余談︓Fine-tuning vs RAG(?) ・ アカデミックでは RAG と Fine-tuning の両⽅を⾏うケースが多い ・Fine-tuningは情シスが取り組むにはコストパフォーマンスが悪い RAG 検索と⽣成を組み合わせるアプローチ。 検索結果をコンテキストとして与えることで回答の精度を向 上させる。 新しい知識を与えるのが得意 概要 刺さるケー ス 他ページ参照 実装 ⽅法 RAG vs Finetuning — Which Is the Best Tool to Boost Your LLM Application? | by Heiko Hotz | Aug, 2023 | Towards Data Science Fine-tuning 学習済みモデルを少量のデータセットで再学習させてモデル を改変する。 ※ Fine-tuningには様々な⼿法があり、モデルを⼤幅に改変 する⼿法もありますが、現段階ではアカデミック寄りの技術 です。 新しい形式に適応させるのが得意 Fine-tuningに対応したモデルをデプロイし、その後、 質問と回答のデータセット（数百〜数千件）を⽤意 して、モデルの改変を⾏う。 ※アカデミックの世界では様々な⼿法あり Chapter2. ⽣成AI/Azure OpenAI活⽤のハイライト

30 テクノロジは揃っている︕︕

31 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

32 事業を加速するために 使われない問題

33 当社も⽣成AIに真剣に取り組んでいます 当社も⽣成AIを事業を⽴ち上げていろんなお客様の話を聞いてきましした。 Chapter3. なぜ⽣成AIのポテンシャルを発揮できないのか︖ Azure OpenAI 構築⽀援 | 株式会社クラウドネイティブ (cloudnative.co.jp) 特設サイト

34 サッと作っても精度が悪い ユーザーがあまり使ってくれない

35 原因①︓ハルシネーション ⽣成AIの性質に関する理解度はまちまちであり、ユーザーのリテラシーが低いと、誤った回答を して、ユーザーを錯乱させてしまう恐れがあります。 注意︓本資料はわかりやすく解説することを⽬的とした資料であり、極端なイメージとなります。 Chapter3. なぜ⽣成AIのポテンシャルを発揮できないのか︖ 明⽇は会社はお休みですか︖ やったー︕︕︕休もう︕︕ はい、会社はお休みです︕ 「使えない」先⼊観ができると当然ユーザーは積極的に使ってくれませ ん。

36 原因②︓⾃社データを組み込んでも間違えたことを⾔う たとえRAGを使って⾃社データを組み込んだ⽣成AIシステムを構築したとしても、検索の精度が 低い・渡すデータが汚い等で間違えたことを⾏ってしまうことがあります。 Chapter3. なぜ⽣成AIのポテンシャルを発揮できないのか︖ 検索結果 XXXXXXX ¥n官房⻑官 ¥n¥n⾦⼦ 恭 之¥n内閣総理 ⼤⾂ ¥n 岸 XXXXXXXX 今の総理⼤⾂は誰︖ 今の総理⼤⾂は⾦⼦ 恭 之 ⽒です。 回答 注意︓本資料はわかりやすく解説することを⽬的とした資料であり、極端なイメージとなります。 雑にやると検索の精度は1割~2割バッターというイメージ（状況次第

37 原因③︓使う⼈の能⼒以上の成果は出ない残酷なテクノロジ 良い回答を引き出すには、良い質問をする必要があるため、ChatGPTはユーザーの⼒量（論理的 思考能⼒・コミュニケーション能⼒ 等）に深く依存する。 Chapter3. なぜ⽣成AIのポテンシャルを発揮できないのか︖ 観点 プロンプト Good! Bad 次の⽂章を〇〇⽂字以内で、 ですます調の⽂章として要約してください。 ・・・・・・・・・・・・・ ・・・・・・・・・・・・・ これサマって。 ・・・・・・・・・・・・・ ・・・・・・・・・・・・・ ⽣成AIを利⽤しても、基本的には利⽤する⼈以上の成果は出ない︕

38 原因④︓⽣成AIを使ったプロセスに対応したUI/UXが必要 ⽣成AI活⽤では「プロセスの数」が増える場合があり、さらにそのプロセスに最適化したUI/UXが ないと、ユーザーは楽な⽅（今までのやり⽅）を踏襲してしまいます。 Chapter3. なぜ⽣成AIのポテンシャルを発揮できないのか︖ 今までの業務 ⽣成AIを使った 業務 メールの 受信 メールの 受信 返信の作成 ⽣成AIを使う と良いと判断 返信を 送信 出⼒を確認 して編集 プロンプトを 考えてAIに指⽰ 返信を 送信 業務イベントの発⽣ 出⼒が微妙だったら やり直し プロンプト エンジニアリング ⽣成AIが適した ユースケースの 理解 ⽣成AIの性質（例︓誤りが多い） に関する理解、クリティカルシンキング 創意⼯夫・知的好奇⼼ 画⾯ 切替 画⾯ 切替 ⽣成AIが組み込まれたSaaSはケアされているが⾃社開発だとUI/UXが課題 注意︓わかりやすさを重視した極端な例です

39 宝の持ち腐れが多発

40 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

41 ⽣成AI使えない問題に取り組むポイント ⽣成AI使えない問題に取り組む際に、解決のヒントとなるポイントをいくつかご紹介します。 出所︓ DALL·E 2を利⽤し筆者作成 Chapter4. AOAIの価値を最⼤化するためのポイント データ整備 業務フロー(WF) 教育 データ 整備 業務フロー (WF) 教育

42 4-1. 業務フロー（WF） AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

43 結局、業務には使えないじゃん︖ データ 整備 業務フロー (WF) 教育

44 ゼロサム（0-100）の⼈多すぎ問題 ⽣成AIに対するユーザーの期待はまちまちですが、他の技術に⽐べて、過度な期待を持っている ユーザーと、無関⼼なユーザーに分かれる傾向があると筆者は捉えています。 無関⼼(0点) 過度な期待(100点) VS ChatGPTで 全ての仕事がなくなる︕ 結局、仕事には 役に⽴たないでしょ︖ データ 整備 業務フロー (WF) 教育 Chapter4. AOAIの価値を最⼤化するためのポイント

45 ⽣成AIの現在地は0点でも100点でもない ・精度は今後上がるので、40点で嬉しい業務から適⽤していく︕ ・過度な期待(100)には冷や⽔を︕無関⼼(0)には熱湯をぶっかける︕ 事例︓録画(会話)検索 データ 整備 業務フロー (WF) 教育 Chapter4. AOAIの価値を最⼤化するためのポイント 録画データを全部⾒なくて 済むので嬉しい︕ Azure OpenAI - Whisper Azure OpenAI - GPT-4 Azure OpenAI - Text embedding ada

46 ⽣成AIはさらに賢くなる⾒込み ⽣成AIは今後もさらに賢くなることが想定されるため、今のうちに社内に取り込んで慣らしてお くと、モデルの向上によりさらに利益を得られることが期待できます。 出所︓[2303.18223] A Survey of Large Language Models (arxiv.org) ？？？ Chapter4. AOAIの価値を最⼤化するためのポイント

47 業務を分解し40点で嬉しい業務/⼯程を探す ⼀⾜⾶びに万能型AIを作ろうとはせず、対象範囲を「業務単位」や「⼯程単位」で切って適⽤す ると効果が出やすい。モデルが進化して60点80点になったら儲けもん。 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

48 さらにワークフローに組み込むと 効果が最⼤化される データ 整備 業務フロー (WF) 教育

49 実例で⾒ていこう︕ データ 整備 業務フロー (WF) 教育

50 当社のメイン事業の⼀つの代理店業務 当社は各種クラウドサービスの代理店業務を⾏ってきました。 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

51 従来の顧客サポート対応フロー Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育 当社では代理店としてSlackを使った顧客サポートを⾏なっており、Slackでの質問は⾃動で起票さ れ、その問題を解くのに最も相応しいエンジニアが対応します。

52 新顧客サポート対応フロー ⾃動でチケットが起票されたタイミングで、AOAIが過去記録に基づく回答案を提⽰します。 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

53 WFで⽣成AIを実⾏①︓チケット名を⾃動記⼊ 質問の内容をインプットにAOAIがチケット名を⽣成し、チケットに⼊⼒します。 Chapter4. AOAIの価値を最⼤化するためのポイント お客様 XXをしたいと考えています。XXXを 参考にXXまでやりましたが、XXを実 ⾏しようとするとエラーとなってしま います。 解消⽅法を教えていただけますでしょ うか︖よろしくお願い申し上げます。 Slackでの質問 チケット管理システム XXをしたいと考えています。XXXを 参考にXXまでやりましたが、XXを実 ⾏しようとするとエラーとなってしま います。 解消⽅法を教えていただけますでしょ うか︖よろしくお願い申し上げます。 XXに関するエラーについて チケット名 チケット詳細 ⾃動 ⽣成 データ 整備 業務フロー (WF) 教育

54 お客様から質問がきたら類似チケットと類似チケットを元にした回答案をサポートエンジニアに ⾃動で通知します。 Chapter4. AOAIの価値を最⼤化するためのポイント WFで⽣成AIを実⾏②︓回答⽣成/類似チケット ⇩デモ動画⇩ https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 データ 整備 業務フロー (WF) 教育

55 WFで⽣成AIを実⾏③︓データベースの整備 Slackでやりとりをした顧客サポートの情報を構造化データへ変換する作業をAOAIに実施させて います。 Chapter4. AOAIの価値を最⼤化するためのポイント 保管データ（構造化） Title Question Answer URL AOAIの良さにつ いて AOAIはいいです か︖ AOAIは最⾼です。 なぜならばXXX XXX.com AOAIの良さにつ いて AOAIはいいです か︖ AOAIは最⾼です。 XXX.com AOAIの良さにつ いて AOAIはいいです か︖ AOAIは最⾼です。 XXX.com ・・・ ・・・ ・・・ ・・・ 元データ（⾮構造化） AOAIが以下を提⽰ ü 類似の問い合わせチケット ü 類似のチケットを参考にした回答案 AOAIはいいですか︖ AOAIは最高です。 AOAIはいいですか︖ AOAIは最高です。 当社のSlack顧客サポート お客様A お客様B サポート エンジニア サポート エンジニア なぜ最⾼なんですか︖ 最高だからです。 データ 整備 業務フロー (WF) 教育

56 WFで⽣成AIを実⾏④︓ベクトルに変換(1/2) 検索の精度を上げるためにベクトル検索（1536次元）を利⽤していますが、ベクトルへの変換も Azure AI Searchのカスタムスキルを利⽤して⾃動で実施します。 注意︓ わかりやすさを重視して極端な例で記載しています。 カスタムスキルによるベクトル変換は2023年11⽉16⽇にリリースされたばかりなので、検証環境での検証までしか実施でき ていません。 Chapter4. AOAIの価値を最⼤化するためのポイント ベクトル検索の荒いイメージ図（2次元） ❌ ⽝[1, 2] ❌ チワワ[2, 1] ❌ ネコ [-1, -2] データ 整備 業務フロー (WF) 教育 Azure AI Search Vector DB

57 WFで⽣成AIを実⾏④︓ベクトルに変換(2/2) 検索の精度を上げるためにベクトル検索（1536次元）を利⽤していますが、ベクトルへの変換も Azure AI Searchのカスタムスキルを利⽤して⾃動で実施します。 Azure AI SearchのEmbeddingスキルでcsvからベクトルDBを簡単に作成する – CloudNative Inc. BLOGs Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

58 ユーザーにプロンプトを 実⾏させずに、 WFでプロンプトを実⾏する データ 整備 業務フロー (WF) 教育

59 4-2. データの整備 AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

60 ゴミを⼊れてもゴミしか出ない ⽣成AIはいくら賢いとはいえ、ゴミデータを投⼊してしまうと、いい成果は得られません。 出所︓ DALL·E 2を利⽤し筆者作成 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

61 ゴミデータは何が罪なのか︖ ゴミデータが混じっていると検索の精度が落ち、さらに検索でヒットしたゴミが⽣成AIを錯乱し てしまう恐れがあります。 出所︓筆者作成 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育 1 6 3 4 2 検索しやすい形に ⾃動変換 5 回答⽣成 USER Azure AI Search （旧︓Cognitive Search） Data Source チャンク （JSON） チャンク （JSON） チャンク （JSON） チャンク分割 Index化 （検索で きる) { "title": "AIサービス取り扱い⼿順", “contents”: “本書はAIの取り扱い⼿順やFAQです", "url": ”XXX.com/XXX", }, 1チャンク フィールド Azure OpenAI Service

62 データを整備するだけで 精度が上がる データ 整備 業務フロー (WF) 教育

63 データ整理で打率は上がる データを適切な形に整形すれば、⽣成AIの成果物の打率は⾃ずと向上します。 Chapter4. AOAIの価値を最⼤化するためのポイント データ整備のポイント • ⼤前提︓デジタル化できていないデータはデジタル化する。 • 今だにデータがデジタルになっていない現場もある。。。 • データを絞る。 • データ重複の排除する。 • 検索結果の多様性に影響する。 • データライフサイクル管理・不要データの削除をする。 • 検索結果のノイズを減らす。 • ユースケースに合わせた構造化データに変換する。 データ整理で打率は⼤幅に上がる︕︕ データ 整備 業務フロー (WF) 教育

64 データ整備の例 Chapter4. AOAIの価値を最⼤化するためのポイント 理想のチャンク分けされたBotの 利⽤イメージ 当社の休暇を教えてください。 はい、当社の休暇はXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXです。 🔸参考資料 1. 就業規則 2条 休暇 URL 2. 就業規則 5条 有給休暇 URL 3. 就業規則 6条 特別休暇 URL 4. 就業規則 7条 ⽣理休暇 URL 5. 就業規則 8条 懲戒 URL Data Sourceの構造 (csv or jsonが理想) Title Section Contents URL 就業規則 第1条 総則 XXXXXXXXX XXX.com 就業規則 第2条 休暇 XXXXXXXXX XXX.com 就業規則 第3条 XX XXXXXXXXX XXX.com XX規定 第4条 XX XXXXXXXXX XXX.com YY規定 第5条 XX XXXXXXXXX XXX.com ZZ規定 第6条 XX XXXXXXXXX XXX.com ・・・ 第7条 XX XXXXXXXXX XXX.com 就業規則 第1条 総則 XXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXXX XXXXXXXXX 就業規則 ・Word等ではなく、csvやjsonを使ってチャンク分けした⽅が検索精度が良い ・ Title/Section/URLはマストではないが、あるとUXが圧倒的に良くなる Title, Section, URLを表⽰する。 csvの1⾏が1チャン クとなり、列がフィ ールドになる。 データ 整備 業務フロー (WF) 教育

65 ⽣成AIはデータ整形タスクがすごく得意 ⽣成AIはデータ整形タスクがすごく得意であり、データ整形タスクであれば、場合によっては80- 90点の成果が上がる場合があります。 Chapter4. AOAIの価値を最⼤化するためのポイント ▶ { "custom_title": ”XXX", “custom_contents”: “XXX", “source_document”: “XXX", "custom_url": " [XXX].com" } { "custom_title": ”XXX", “custom_contents”: “XXX", “source_document”: “XXX", "custom_url": " [XXX].com" } 変換後のデータ（構造化） 元データ（⾮構造化） 企業データを活⽤する際、特に⼤変な作業 はベクトルデータベースの構築です。元デ ータを取得し、ベクトルに変換して検索し やすい場所に保管する作業は、⾯倒な作業 です。多くのチャットGPT関係者もこれを 難しい点と感じています。 しかし、Azure AI Search（旧称：Cognitive Search）には、新しいカスタムスキル 「Azure OpenAI Embedding Skill」が登場 しました。このスキルを使⽤すると、Azure OpenAIのリソースのみを⽤いてベクトルフ ィールドを作成できます。 データ 整備 業務フロー (WF) 教育

66 競合優位性を⽣み出すのはデータ 世界中の企業がChatGPT（Azure OpenAI）のような⾼性能なモデルを⼿にした今、企業が競争 優位性を発揮するポイントとしてデータの⽐重が⾼まっています。 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育 ・昔からデータは価値の源泉であった ・⽣成AIの登場により、その重要性が加速しつつある

67 4-3. 教育 AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

68 AIに責任は取れない 最終的には”⼈”が重要 データ 整備 業務フロー (WF) 教育

69 基本となる教育研修 まずは規定の整備や教育研修等を⾏なうのが常套⼿段です。 Chapter4. AOAIの価値を最⼤化するためのポイント 教育の内容のポイント • ⽣成AIの仕組み／性質 • ⾃社での⽣成AIの活⽤⽅針、ルール • 利⽤⽅法 • ツールの紹介 • ユースケースの紹介 • Tips（プロンプトエンジニアリング等） • 禁⽌事項 データ 整備 業務フロー (WF) 教育

70 他のユーザーが⾒える場所で⽣成AIを使う 教育・啓蒙活動は⾮常に重要ですが、それに加えて他のユーザーが⾒れる場所で⽣成AIを使える ようにすることで、他のユーザーの活⽤⽅法を知り、⾃らの業務に活かすことができます。 Chapter4. AOAIの価値を最⼤化するためのポイント 公開チャットでの利⽤例 データ 整備 業務フロー (WF) 教育

71 成功体験を積んでもらおう データ 整備 業務フロー (WF) 教育

72 再掲︓ゴミを⼊れてもゴミしか出ない 先ほど、⽣成AIはいくら賢いとはいえ、ゴミデータを投⼊してしまうと、いい成果は得られない という話をしました。 出所︓ DALL·E 2を利⽤し筆者作成 Chapter4. AOAIの価値を最⼤化するためのポイント データ 整備 業務フロー (WF) 教育

73 3つの観点で⽣成AIの成果を最⼤化する データ・業務フロー・⼈の3つを磨けば、⽣成AIはたくさんの宝を届けてくれます。 出所︓ DALL·E 2を利⽤し筆者作成 Chapter4. AOAIの価値を最⼤化するためのポイント データ 業務フロー(WF) ⼈ × × データ 整備 業務フロー (WF) 教育

74 アジェンダ 2 3 4 ⽣成AI/Azure OpenAI活⽤のハイライト なぜ⽣成AIのポテンシャルを発揮できないのか︖ 価値を最⼤化するためのポイント 5 おわりに 〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 クラウドネイティブ会社紹介 P21 P31 P40 P74 P7

75 垂直的な技術発展（1/2） ChatGPTやGithub Copilotの登場によりエンジニアや研究者の⽣産性が向上したことを受けて、 垂直的な技術発展が続いています。 出所︓DALL·E 2で作成 Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

76 垂直的な技術発展（2/2） マイクロソフトだけ⾒てもすごい勢いで製品・機能をリリースしており、さらに他のベンダーや 研究期間のリリースを合わせると、誰も全体像を掴めないレベルに到達しました。 出所︓筆者た調査の上で作成 直近の主なリリース（マイクロソフト関連に限る） ü Azure OpenAIがOpenAI Dev Dayで発表されたモデルを提供開始 ü Azure Cognitive SearchがAzure AI Searchにリブランドされ、 機能も強化された（ベクトルDB・データの分割ジョブ） ü Copilot for Microsoft 365のエンタプライズ顧客向けリリース ü Security Coplotのプライベートプレビュー開始 ü Copilot Stuidoの提供開始（Power virtual Agentのリブランディング） ü ・・・ Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

77 「システムを作らせる」から「⾃社で⼩さく素早く作る」へ 「⼤掛かりなシステムを発注して作らせる」から「⾃社で⼩さく素早く作る」ことの重要性がよ り増してきたと考えています。 出所︓ DALL·E 2を利⽤し筆者作成 ▶ ⾃社(グループ会社)で⼩さく素早く作る ⼤掛かりなシステムを発注して作らせる Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

78 「⾃社で⼩さく素早く作る」を⽀える機能︓Azure OpenAI Azure OpenAI/Azure AI Searchを組み合わせる（CompressionExtentionAPI）と、⼤掛かりな 作り込みを必要とせず、RAGのプロトタイプを⽐較的簡単に実装することができます。 注意︓鍵の管理やアクセス制御は別途考慮が必要です。 参考︓Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn { "dataSources": [ { "type": "AzureCognitiveSearch", "parameters": { "endpoint": "https://***.search.windows.net", "key": ”***", "indexName": "dev-rules-of-employment-01" } } ], "messages": [ { "role": "user", "content": "当社の就業規則について教えてください。" } ] } Azure OpenAI Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

79 「⾃社で⼩さく素早く作る」を⽀える機能︓Azure AI Search Azure AI Search（旧称 Azure Cognitive Search）は、プライベートコンテンツに対する検索を ⾃社システムに組み込むかことができるソリューションです。 参考︓ Azure AI Search - ⽣成型検索 | Microsoft Azure Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜 1 6 3 4 2 検索しやすい形に ⾃動変換 5 回答⽣成 USER Azure AI Search （旧︓Cognitive Search） Data Source チャンク （JSON） チャンク （JSON） チャンク （JSON） チャンク分割 Index 化 （検索 できる) { "title": "AIサービス取り扱い⼿順", “contents”: “本書はAIの取り扱い⼿順やFAQです", "url": ”XXX.com/XXX", }, 1チャンク フィールド Azure OpenAI Service

80 「⾃社で⼩さく素早く作る」を⽀える機能︓Logic Apps Logic Appsは、iPaaS（Integration Platform as a Service）というカテゴリに属するサービス で、多くのアプリケーションやWebサービスを結合して連携システムを作ることができます。 参考︓ https://learn.microsoft.com/ja-jp/azure/logic-apps/logic-apps-overview Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

81 ü AIアプリケーション向 け開発ツール ü RAGを実装するサンプ ルコードをそのまま動 かせる ü Pythonのコードを実 ⾏や翻訳APIを叩ける ので、精度を上げるた めの細かい処理が可能 ü Hugging-faceを使っ て、ChatGPT以外の モデルも使える 「⾃社で⼩さく素早く作る」を⽀える機能︓Prompt Flow Prompt FlowはAIアプリケーションの開発サイクル全体を合理化するために設計された開発ツー ルです。 Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

82 難易度は⽇々下がっている

83 最後に実装例を紹介 （時間の許す限り）

84 実装例①︓社内規定について教えてくれる⽣成AIボット 社内の規定やルールをAzure Blob Storageに事前に読み込ませます。⼊社時のオンボーディング やヘルプデスクの負担も軽減できます。 ルールや⼿順が社内の情報に⾒つから なかった場合は、明確に規定が存在し ないことを質問者に返答し、質問の内 容によっては、上⻑や担当部署への相 談窓⼝を案内しコーチングします。 Azure OpenAI Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

85 実装例②︓MSの外にある情報を読み込んだ⽣成AIボット Azure Blob Storageに外部からデータを転送し、そのデータを元にインデックスを作成し、RAG を実装することが考えられます。 Logic Apps Azure OpenAI Service Azure AI Search Blob Storage Azure VM ここが楽 ここが少し ⼤変 Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

86 実装例③︓SaaSのAPIを使った横断検索 インデックスを作成するのは労⼒がかかるため、各種SaaSで⽤意されている検索APIを利⽤して、 RAGを実装する⼿法もございます。 注意︓検索APIの仕様に深く依存します。また、場合によってはRAGのG（Generation）の部分が実施できないSaaSもございます。 簡易のやつ iPaaS Azure OpenAI Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

87 実装例④︓CRMから情報を抽出する CRMから特定の情報を⾃然⾔語で抽出します。⽣成AIがSQLのクエリを⽣成し、そのSQLクエリ を利⽤して、外部の情報を検索します。 注意︓検索APIの仕様に深く依存します。また、場合によってはRAGのG（Generation）の部分が実施できないSaaSもございます。 iPaaS Azure OpenAI Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

88 実装例⑤︓新規問い合わせ先を⽣成AIが調査する Webサイトに設置してあるフォームへ問い合わせがあると、会社名やメールアドレスのドメイン から、顧客のWebサイトを特定し、業種、会社規模、などの情報を抽出し提⽰します。 注意︓検索APIの仕様に深く依存します。また、場合によってはRAGのG（Generation）の部分が実施できないSaaSもございます。 CRM（顧客管理システム）やSFA （営業⽀援システム）と連携し、過 去にも問い合わせのあった組織、特 定の業種、事業規模によっては、営 業へメンションしたりなど、条件と 投稿内容を柔軟に変更することも可 能です。 iPaaS Azure OpenAI Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

89 実装例⑥︓OCRでの⽂字認識の補助（電帳法対応） OCR単体ではDBへ適切なデータを格納できない場合があるが、AOAIで処理することで、OCRの 精度が⾼められる。 DB ストレ ージ バック アップ iPaaS OCR単体ではDBへ適 切なデータを格納でき ない場合があるが、 AOAIで処理すること で、OCRの精度が⾼ められる。 アプリ Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

90 実装例⑦︓ビデオ会議の検索システム 会議のビデオ録画を⽂字起こし・ベクトル化しておき、何分何秒でどのような会話が⾏われたか 調べたり、⾃然⾔語で検索をしたりできます。 録画データを全部⾒なくて 済むので嬉しい︕ Azure OpenAI - Whisper Azure OpenAI - GPT-4 Azure OpenAI - Text embedding ada Chapter5. おわりに〜今だからこそ重要な「⾃⽴」とAIの最初のステップ・事例〜

91 まとめ • ⽣成AIも⽣成AIを⽀える技術も進歩しているが、ただ作っ ただけでは使われずに宝の持ち腐れとなってしまう。 • ⽣成AI活⽤のために、データ・業務フロー・⼈の3つをと にかく磨こう。 • ⽣成AIが登場し変化が加速する時代だからこと、⾃社で⼩ さく素早く試し続けることが重要。Azureのテクノロジを 使い倒して、⽣成AIの取り組みを加速させよう。 1 2 3

92 株式会社クラウドネイティブ Cloud Native Inc. 設⽴︓2017年5⽉ 所在地︓〒106-0032 東京都港区六本⽊1-4-5 アークヒルズサウスタワー 16F 代表電話番号︓050-1791-0450 Eメールアドレス︓[email protected] ITの世界だからこそ、⼈と⼈とのコミュニケーションを最重要視し、 全員が前を向いて楽しく仕事を進められる世界を作るのが最⼤のミッションです。 https://cloudnative.co.jp

Appendix

94 AI活⽤の道筋の例 Appendix スタート （振り出し/課題） データ整備 & 業務設計 AI活⽤ or 別施策 ビジョン：どう働きたいか？どんなアウトプットが欲しいか？ 検索API×AI 全⽂ インデックス SaaSに 搭載されたAI AI実⾏ タスクの⾒直し 1 2 3 4 ・・・

95 AI活⽤の道筋の例 AIが業務に対して価値をもたらす段階に⾄るまでには、いくつかの段階があると考えており、段 階事に効果的な施策は異なります。 Appendix 知らない スタート 試しながら、⽣成AIの 特徴や限界を理解 ⾃社のビジネスに どう⽣かすか検討 準備フェーズ ユーザー主体の活用（SaaS・PaaS） ワークフロー主体の活用（PaaS） ⼀部ユーザーが 活⽤できている 多くのユーザーが 活⽤できている ⼀部の業務で 活⽤できている 多くの業務で 活⽤できている 何に使うか わからない 利⽤の枠組みの検討（規定やセキュリティ 等） 組織での活用度合い 高 低 啓蒙

96 検索結果のフィルタリング Azure AI Searchを利⽤すると、フィルタリングにより、意図しない情報が検索結果に含まれない ようにする作り込みが可能です。 Appendix 関連ブログ︓Azure OpenAI Serviceに組み込んだ⾃社データをフィルタする – CloudNative Inc. BLOGs "value": [ { "custom_title": "AIサービス取り扱い⼿順", “custom_contents”: “本書はAIの取り扱い⼿順やFAQです", "custom_url": " https://box.com/XXX", ”group_id": ” ", }, { “custom_title”: “エンジニアマニュアル", “custom_contents”: “アウトプットしないのは知的な便秘", "custom_url": " https://box.com/YYY", ”group_id": ” ", }, Azure AI Search ※ イメージ図 Azure AI Search Index

97 セマンティックランカー 検索エンジンは単なるキーワードの⼀致だけでなく、⽂章内の単語の意味や関係性を理解しよう とします。これによって、より具体的で正確な情報を提供できるようになります。 参考︓ ChatGPT/AOAI⾃社データ活⽤(RAG)の精度向上のプラクティス【情シス向け】 – CloudNative Inc. BLOGs Appendix