On Your Data を超えていく！

by 田口大智 / ぐっちー

Slide 1

Slide 1 text

0 PUBLIC Azureでデキる︕⽣成AIアプリの精度向上の⽅法論と実践 On your dataを超えていく︕ セキュリティ＆データガバナンスセクションクラウドセキュリティアーキテクト⽥⼝⼤智

Slide 2

Slide 2 text

1 本⽇のセッション • 主な対象︓On Your Data 触ってガッカリした⼈ • 話すこと︓精度を向上し On Your Dataを超えていく⽅法

Slide 3

Slide 3 text

2 ⽥⼝⼤智 (@hirotomotaguchi) Cloud Security Architect ⾃⼰紹介経歴 l 明治⼤学︓野球部 l コンサルティング会社︓ISO27000（ISMS）、ISMAP 等現在の仕事 l 現職︓ l セキュリティ系 l ゼロトラストの概念に基づくIT基盤設計 l CASB/SWG/EDR/SIEM等の構築運⽤⽀援や運⽤サポート l AI系 l AOAI/AI Search の構築⽀援 l 副業︓ l セキュリティチェック記⼊AI開発趣味 l ダンス・野球・ゴルフ（初⼼者）

Slide 4

Slide 4 text

3 アジェンダ 1 2 3 AOAI を使って開発しているサービス紹介 On your Data の概要 On your Data を超えていく︕︕︕︕

Slide 5

Slide 5 text

4 会社紹介企業からITが無くなると事業継続が困難である今の時代、情報システム部⾨は企業のコアと⾔えます。ITによって⾃在に変化適応できる組織へ再設計し企業価値を最⼤化するご⽀援をします。情シスのお悩みを解決する仕事だ︕ 須藤あい(AI) Chapter1. AOAI を使って開発しているサービス紹介

Slide 6

Slide 6 text

5 実績デジタルプラットフォーム構築条業報告書ゼロトラストアーキテクチャの概念を取り込んだ環境を構築する実証実験を⾏いました。⽣成AI(Azure OpenAI) 構築⽀援独⾃データを組み込んだChatGPTを、セキュアに構築し、業務へ組み込みむ⽀援を⾏いました。意外と変われる霞ヶ関⼤賞霞が関初、フルクラウド霞が関初、フルクラウドで業務・働き⽅を改⾰しました。当社代表が最⾼情報セキュリティアドバイザーに就任しました。 Chapter1. AOAI を使って開発しているサービス紹介

Slide 7

Slide 7 text

6 去年から流⾏っているRAGでいろいろやってます︕ Retrieval-Augmented Generation 検索拡張⽣成 1 6 2 3 USER 検索インデックス（情報ソース）参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター（iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリプロンプト回答プロンプト & 検索結果指⽰(ユーザーからの質問に検索結果を参考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果 Chapter1. AOAI を使って開発しているサービス紹介

Slide 8

Slide 8 text

7 実装例①. 規定AI ⽣成AIに取り組み始めた企業が⼤体やっている規定を参考にして回答するAIは漏れなく僕もやっています。 URL︓https://cloudnative.box.com/s/1gtqib8tyys2mpie4wepj8iep29s1u3k Chapter1. AOAI を使って開発しているサービス紹介当社の休暇を教えてください。はい、当社の休暇はXXXXXXXXX XXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXです。 🔸参考資料 1. 就業規則 2条休暇 URL 2. 就業規則 5条有給休暇 URL 3. 就業規則 6条特別休暇 URL 4. 就業規則 7条⽣理休暇 URL 5. 就業規則 8条懲戒 URL Title, Section, URLを表⽰する。 ▼デモ動画▼

Slide 9

Slide 9 text

8 実装例①. 規定AI Chapter2.関与しているシステム・サービスの紹介（⼀部）デモ動画

Slide 10

Slide 10 text

9 実装例①. 規定AI Chapter2.関与しているシステム・サービスの紹介（⼀部）

Slide 11

Slide 11 text

10 実装例②. カスタマーサポートAI 代理店業務のカスタマーサポートにおける、チケット起票と同時に「過去の類似チケット」と「回答の下書き」を⾃動で表⽰する様にしました。 URL︓https://cloudnative.box.com/s/ucvk5p9fzg0lva5je93a8do6doii4mk0 Chapter1. AOAI を使って開発しているサービス紹介 ▼デモ動画▼

Slide 12

Slide 12 text

11 実装例③. セキュリティチェックシート記⼊AI ユーザーがセキュリティチェックシートをアップロードしたら、AIを使って下書きを記⼊し、下書きをコンサルタントが⼿直しした上で返却するサービスを開発しています。 ※ AWS上に構築している環境（SaaS）への組み込みはできていない。ユーザー ISMSMコンサル Azure OpenAI Azure AI Search Chapter1. AOAI を使って開発しているサービス紹介 ※個⼈プロジェクト

Slide 13

Slide 13 text

12 実装例③. セキュリティチェックシート記⼊AI プロトタイプとしてGASで実⾏するモックを作成し、今後プロダクト化を⽬論んでいる。 ※ AWS上に構築している環境（SaaS）への組み込みはできていない。 Chapter1. AOAI を使って開発しているサービス紹介 ※個⼈プロジェクト

Slide 14

Slide 14 text

13 アジェンダ 1 2 3 AOAI を使って開発しているサービス紹介 On your Data の概要 On your Data を超えていく︕︕︕︕

Slide 15

Slide 15 text

14 Azure OpenAI On your Data とは︖ 開発者が⾃社のデータを組み込んだAIを構築することを容易にするサービスです。参考︓Using your data with Azure OpenAI Service - Azure OpenAI | Microsoft Learn Chapter1. On your data とは︖ ＜⼿順＞ 1. Azure 上に以下のリソースを作成する ● Azure OpenAI ● AI Search ● Blob(ストレージアカウント） 2. Blob にPDFやらWordやらをぶち込む。 3. Azure OpenAI Studio でデータソースの設定をする。（だいたい10クリックぐらい）

Slide 16

Slide 16 text

15 ⾃動でドキュメント分割してインデックスを作成 Blob ストレージ上のデータを任意のチャンクサイズ（256/512/1024/1536）に⾃動で分割して、インデックス化（検索可能な状態）にします。参考︓ Chapter1. On your data とは︖ 1 6 3 4 2 検索しやすい形に⾃動変換 5 回答⽣成 USER Azure AI Search （旧︓Cognitive Search） Blob チャンク（JSON）チャンク（JSON）チャンク（JSON）チャンク分割 Index化（検索できる) { "title": "AIサービス取り扱い⼿順", “contents”: “本書はAIの取り扱い⼿順やFAQです", "url": ”XXX.com/XXX", }, 1チャンクフィールド Azure OpenAI Service

Slide 17

Slide 17 text

16 ベクトル検索ベクトル間の類似度を計算することで意味の近いコンテンツを計算する⼿法。最新のベクトル検索モデルを使えば 3072 次元のベクトルを使って検索ができる。参考︓ベクトル検索 - Azure AI Search | Microsoft Learn Chapter1. On your data とは︖ ベクトル検索の荒いイメージ図（2次元） ❌ ⽝[1, 2] ❌ チワワ[2, 1] Azure AI Search Vector DB ❌ ネコ[-1, -3]

Slide 18

Slide 18 text

17 セマンティックリランキングハイブリッド検索の結果をBing検索で使われているアルゴリズム等で再ランク付けし、より⽂脈に即した結果を返します。参考︓ハイブリッド検索のスコアリング (RRF) - Azure AI Search | Microsoft Learn Chapter1. On your data とは︖ リランキングした結果ハイブリッド検索の結果 #1 #2 #3 #4 #5 ・・・ #3 #4 #1 #6 #2 ・・・

Slide 19

Slide 19 text

18 App Service をワンクリックでデプロイ Chapter1. On your data とは︖

Slide 20

Slide 20 text

19 On your dataをAPIとして使うCompression.Extention.API Chapter1. On your data とは︖ 注意︓鍵の管理やアクセス制御は別途考慮が必要です。参考︓Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn { "dataSources": [ { "type": "AzureCognitiveSearch", "parameters": { "endpoint": "https://***.search.windows.net", "key": ”***", "indexName": "dev-rules-of-employment-01" } } ], "messages": [ { "role": "user", "content": "当社の就業規則について教えてください。" } ] }

Slide 21

Slide 21 text

20 On your data に関する書簡 Positive • 経験の少ないユーザーが安価にRAGのPoCをやるのには適したサービスの1つ。 Negative • 雑にデータをぶち込んだだけでは、本番環境に展開できるほどクオリティに達しない場合がある。（精度・UXの観点） • ベクトル検索はすごいが、最強ではない。 Chapter1. On your data とは︖

Slide 22

Slide 22 text

21 On Your Data 作るのは簡単だけどうまくいかない点が多い Chapter1. On your data とは︖ システムの変更管理⽅法について⽇本語で教えてください。 The retrieved documents do not contain information about the compliance requirements when changing a system. Please try another query or topic.

Slide 23

Slide 23 text

22 On your data に関する書簡 Chapter1. On your data とは︖ AIの取り組み完

Slide 24

Slide 24 text

23 アジェンダ 1 2 3 AOAI を使って開発しているサービス紹介 On your Data の概要 On your Data を超えていく︕︕︕︕

Slide 25

Slide 25 text

24 前提︓⾃由度を上げるための⾃前実装 On Your Data(Complitiion.Extention.API) は良くも悪くもラッピングされており、⾃由度が低いため、現時点では⾃前実装の⽅が精度が上がりやすい。 Chapter3. On your data を超えていく⾃前実装 On Your Data(Complitiion.Extention) 2 3 USER Azure AI Search (検索インデックス) オーケストレータ (iPaaS/PaaS) 5 回答⽣成 4 検索結果 Azure OpenAI クエリプロンプト回答 6 1 UI 3 4 USER Azure AI Search (検索インデックス) オーケストレータ (iPaaS/PaaS) 検索結果 Azure OpenAI クエリプロンプト回答 6 1 UI プロンプト 2 5 回答

Slide 26

Slide 26 text

25 初⼼者は Logic Apps などの iPaaS を使うと良き⾳声（Whisper）や画像（DALL·E）を使おうとすると⾟くなることも多いが、テキスト系のユースケースだったら Logic Apps などでも対応できることが多い。 Chapter3. On your data を超えていく

Slide 27

Slide 27 text

26 ゲームチェンジをして精度で戦わない精度を主戦場にしたら⾟い。精度が低くても戦えるようにUXを追求することが勝ち筋（⽭盾 Chapter3. On your data を超えていく

Slide 28

Slide 28 text

27 エスカレーションフロー等の実装ユーザーが回答に満⾜しなかった場合のアクションも仕込んでおく（世⽥⾕区役所さん公開事例 Chapter3. On your data を超えていく

Slide 29

Slide 29 text

28 エスカレーションフロー等の実装ユーザーが回答に満⾜しなかった場合のアクションも仕込んでおく（アダプティブカード Chapter3. On your data を超えていく

Slide 30

Slide 30 text

29 精度向上の基本的な考え⽅ Chapter3. On your data を超えていく 1 6 2 3 USER 検索インデックス（情報ソース）参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター（iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリプロンプト回答プロンプト & 検索結果指⽰(ユーザーからの質問に検索結果を参考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果精度向上を考える際には、精度を悪くしている要因（課題）を特定して対応するアプローチが⼀般的です。 ②検索 ①⼊⼒ ③⽣成 ① ② ③

Slide 31

Slide 31 text

30 精度向上の基本的な考え⽅ Chapter3. On your data を超えていく 1 6 2 3 USER 検索インデックス（情報ソース）参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター（iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリプロンプト回答プロンプト & 検索結果指⽰(ユーザーからの質問に検索結果を参考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果精度向上を考える際には、精度を悪くしている要因（課題）を特定して対応するアプローチが⼀般的です。 ②検索 ①⼊⼒ ③⽣成 ① そもそも、ちゃんと質問することは難しい︕︕︕

Slide 32

Slide 32 text

31 クエリ拡張・クエリ変換 Chapter3. On your data を超えていくユーザーからの質問をそのまま検索システムに渡すのではなく、LLMで変換して渡す。 ②検索 ①⼊⼒ ③⽣成

Slide 33

Slide 33 text

32 再検索・もっと⾒る／聞き返し・切り分け Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成再検索・もっと⾒る聞き返し・切り分け LLMに考えさせる⼊⼝を分ける • ユーザーの質問に対して、逆質問を返すようにプロンプトを定義しておく。 • 別のクエリで検索をしたり、さらなる検索結果を表⽰させたりする。 Teamsが動かないんだけど︖ • ログインできないっていう意味ですか︖ • アプリが起動しないという意味ですか︖ • MTGができないという意味ですか︖ • ブラウザでアクセスしても真っ⽩という意味ですか︖

Slide 34

Slide 34 text

33 精度向上の基本的な考え⽅② Chapter3. On your data を超えていく 1 6 2 3 USER 検索インデックス（情報ソース）参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター（iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリプロンプト回答プロンプト & 検索結果指⽰(ユーザーからの質問に検索結果を参考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果精度向上を考える際には、精度を悪くしている要因（課題）を特定して対応するアプローチが⼀般的です。 ② 情報検索は⼈類の課題︕︕RAGの1番のボトルネックになりやすい︕ ②検索 ①⼊⼒ ③⽣成

Slide 35

Slide 35 text

34 ゴミを⼊れてもゴミしか出ないは⽣成AIも⼀緒検索技術（アルゴリズム・検索⼿法）から攻める⽅法もあるが、開発者（≠研究者）であれば、情報を整備して、情報を探しやすい状況をつくることが効果的です。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成

Slide 36

Slide 36 text

35 Azureでの検索改善①︓構造化データの利⽤ドキュメントをただバラすのではなく、構造化データを使った⽅が、情報は探しやすくなる。 Chapter3. On your data を超えていく Title Section Contents URL 就業規則第1条総則 XXXXXXXXX XXX.com 就業規則第2条休暇 XXXXXXXXX XXX.com 就業規則第3条 XX XXXXXXXXX XXX.com XX規定第4条 XX XXXXXXXXX XXX.com YY規定第5条 XX XXXXXXXXX XXX.com ZZ規定第6条 XX XXXXXXXXX XXX.com ・・・第7条 XX XXXXXXXXX XXX.com 就業規則第1条総則 XXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXXX XXXXXXXXXXX 就業規則 ②検索 ①⼊⼒ ③⽣成

Slide 37

Slide 37 text

36 Azureでの検索改善①︓構造化データの利⽤ Document Intelligence や OpenInterpreter で構造化データを作る。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 LLMに考えさせる⼊⼝を分ける • ⽂書を構造化データに変換するのを助けてくれるAzureのサービス • Code InterpreterのOSS版 • ユーザーの指⽰に基づいて⽣成AI がコードを⽣成し、実⾏までしてくれるアシスタントツール Document Intelligence OpenInterpreter

Slide 38

Slide 38 text

37 Azureでの検索改善①︓構造化データの利⽤ Document Intelligence や OpenInterpreter で構造化データを作る。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成デモ動画︓https://cloudnative.box.com/s/qw0oz7ujkpxmqugye0p9l9w1mngeg2u6

Slide 39

Slide 39 text

38 Azureでの検索改善①︓構造化データの利⽤ Azure AI Search で csv や json をインプットにインデックスを作成する。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成

Slide 40

Slide 40 text

39 Azureでの検索改善②︓データ蓄積フローサポートデスクなどで利⽤する際には、対応が終わったら過去の質問としてデータを追加する。 Chapter3. On your data を超えていく保管データ（構造化） Title Question Answer URL AOAIの良さについて AOAIはいいですか︖ AOAIは最⾼です。なぜならばXXX XXX.com AOAIの良さについて AOAIはいいですか︖ AOAIは最⾼です。 XXX.com AOAIの良さについて AOAIはいいですか︖ AOAIは最⾼です。 XXX.com ・・・・・・・・・・・・元データ（⾮構造化） AOAIはいいですか︖ AOAIは最高です。 AOAIはいいですか︖ AOAIは最高です。当社のSlack顧客サポートお客様A お客様B サポートエンジニアサポートエンジニアなぜ最⾼なんですか︖ 最高だからです。 ②検索 ①⼊⼒ ③⽣成

Slide 41

Slide 41 text

40 Azureでの検索改善③︓フィルタリングフィルタリングで対象データを絞ることで Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 "value": [ { "custom_title": "AIサービス取り扱い⼿順", “custom_contents”: “本書はAIの取り扱い⼿順やFAQです", "custom_url": " https://box.com/XXX", ”group_id": ” ", }, { “custom_title”: “エンジニアマニュアル", “custom_contents”: “アウトプットしないのは知的な便秘", "custom_url": " https://box.com/YYY", ”group_id": ” ", }, Azure Cognitive Search ※ イメージ図 Azure Cognitive Search Index

Slide 42

Slide 42 text

41 Azureでの検索改善③︓フィルタリング(クエリ Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 LLMに考えさせる⼊⼝を分ける • フィルタリングに使う値をLLMに考えさせて、フィルタリングする。 • ユーザー体験的には「AI感」が増すが、応答が遅くなる傾向があり、技術的にも何度が⾼い。 • ⼊⼝を分けてあげて、裏側でフィルタリングする。 • 実装は難しくない。 • 個⼈的にはこれをSlack GPTsと読んでいる（造語）⼊⼝を分ける LLMに考えさせる⼊⼝を分ける @sudoAI-Internalrule @sudoAI-Ask2Ask @sudoAI-XXXXX USER BYODってやっていいの︖ 個⼈所有のデバイス（BYOD）で業務をすることはできますか︖

Slide 43

Slide 43 text

42 Azureでの検索改善③︓フィルタリング(ラベル付 LLMや検索サービスにラベル付させる（個⼈的には検索サービスがコスパ良いと考えている Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 Azure AI Search （旧︓Cognitive Search） { “contents”: “~~~~”, ”label": "A.5.1", }, { “contents”: “ウイルス対策ソフトを導⼊すること。”, ”label": "A.8.6", }, { “contents”: “~~~~”, ”label": "A.7.6", }, 当社はマルウェア対策としてDefender for Endpoint を導⼊しています。対象⽂書

Slide 44

Slide 44 text

43 Azureでの検索改善④︓Hypothetical Questions Hypothetical Questions（仮の質問） Chapter3. On your data を超えていく id note question vector XX 代表取締役社⻑が委員⻑を務める情報セキュリティ委員会が組成されています。情報セキュリティに関する⽅針・課題などは、当委員会にて協議し、経営会議にて決定します。セキュリティを推進する組織はありますか︖ -4578239, 12033454 XX 業務で取り扱う情報資産については、社内サーバ等に保管しておらず、GoogleDrive及びAWS にて保管しております。これらの情報に対しては、適切にアクセス制御を⾏っています。 PCなどのクライアント端末は、会社⽀給のものを利⽤しています。なお、会社へ申請し許可を得た場合のみ、BYODを認めています。 XX XXX ②検索 ①⼊⼒ ③⽣成

Slide 45

Slide 45 text

44 Azureでの検索改善④︓Hypothetical Questions Azure AI Search のスキルセットでデータを拡張する。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 Azure AI Search （旧︓Cognitive Search） Blob チャンク（JSON）チャンク（JSON）チャンク（JSON）チャンク分割 { "title": "AIサービス取り扱い⼿順", “contents”: “本書はAIの取り扱い⼿順やFAQです”, “question”: “本書はAIの取り扱い⼿順はありますか︖”, "url": ”XXX.com/XXX", }, 1チャンクインデクサースキルセットスキル定義

Slide 46

Slide 46 text

45 精度向上の基本的な考え⽅③ Chapter3. On your data を超えていく 1 6 2 3 USER 検索インデックス（情報ソース）参考︓Patterns for Building LLM-based Systems & Products (eugeneyan.com) 注意︓わかりやすさを重視して書いています。また、RAGのアーキテクチャや処理の流れはシステムによって異なります。 UI オーケストレーター（iPaaS/PaaS 等） 5 回答⽣成 4 検索結果 LLM クエリプロンプト回答プロンプト & 検索結果指⽰(ユーザーからの質問に検索結果を参考に回答してください。) ユーザーからの質問 (XXについて教えてください。) 検索結果精度向上を考える際には、精度を悪くしている要因（課題）を特定して対応するアプローチが⼀般的です。 ③ ②検索 ①⼊⼒ ③⽣成プロンプトエンジニアリングも油断してはいけない︕︕

Slide 47

Slide 47 text

46 プロンプトエンジニアリング（腐るほど⼿法ある）参考︓Prompt Engineering Guide | Prompt Engineering Guide (promptingguide.ai) Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成観点プロンプト次の⽂章を〇〇⽂字以内で、ですます調の⽂章として要約してください。・・・・・・・・・・・・・・・・・・・・・・・・・・これサマって。・・・・・・・・・・・・・・・・・・・・・・・・・・ Good! Bad

Slide 48

Slide 48 text

47 プロンプトを構造化する注意︓セミナー向けに単純化しています。 Chapter3. On your data を超えていく Instructions: あなたは優秀なセキュリティ担当者です。規定の検索結果がコンテキストを提供し、セキュリティチェックリストの質問に⽇本語で回答します。⽂書に回答に関連する情報が含まれている場合は、以下の例⽰のとおり、質問に具体的に回答を提供し、参照⽂書番号を含めます。当社は {XXのような対策} を実施しています。[doc2] セキュリティ規定︓ウイルスの被害を防⽌するためにOSをアップデートするセキュリティ規定︓AVソフトをMDMでPCに展開するセキュリティポリシー︓情報セキュリティの可⽤性をホゲホゲアンチウイルスソフトを導⼊していますか︖ Answer: ②検索 ①⼊⼒ ③⽣成

Slide 49

Slide 49 text

48 最初と最後に重要な情報を持ってくる XXX 参考︓[2402.14848] Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models (arxiv.org) Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 Instructions: あなたは優秀なセキュリティ担当者です。規定の検索結果がコンテキストを提供し、セキュリティチェックリストの質問に⽇本語で回答します。⽂書に回答に関連する情報が含まれている場合は、以下の例⽰のとおり、質問に具体的に回答を提供し、参照⽂書番号を含めます。当社は {XXのような対策} を実施しています。[doc2] セキュリティ規定︓ウイルスの被害を防⽌するためにOSをアップデートするセキュリティ規定︓AVソフトをMDMでPCに展開するセキュリティポリシー︓情報セキュリティの可⽤性をホゲホゲアンチウイルスソフトを導⼊していますか︖ Answer:

Slide 50

Slide 50 text

49 Azure AI - Text Translation API で英語化 Azure AI - Text Translation API で英語化すると、精度UPとコスト削減が⾒込める。参考︓2308.01223.pdf (arxiv.org) Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成 LLMコスト削減やコンテキストを増やせる等の効果もあるぞ須藤あい(AI)

Slide 51

Slide 51 text

50 英語化の落とし⽳英語翻訳はセキュリティチェック等、質問が良い⽇本語であるケースに適しているように思える（私⾒ Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成質問社内での私物の携帯は認められていますか︖ （社内に携帯電話を持ち込んでいいですか︖ or スマホのBYODは規定で許可されてますか︖ 質問の英訳 Is it allowed to carry personal belongings in the office? AIの回答 Yes, employees are permitted to bring personal items to the office, but the company is not responsible for any loss or damage. AIの回答の⽇本語訳はい、従業員はオフィスに私物を持ち込むことができますが、紛失や破損について会社は責任を負いません。

Slide 52

Slide 52 text

51 綺麗なデータセットがプロンプトでも⽣きるとりあえずバラしたデータをLLMに渡したら、LLMが誤認してしまうことは明⽩。 Chapter3. On your data を超えていく ②検索 ①⼊⼒ ③⽣成検索結果 XXXXXXX ¥n官房⻑官 ¥n¥n⾦⼦恭之¥n内閣総理⼤⾂ ¥n 岸 XXXXXXXX 今の総理⼤⾂は誰︖ 今の総理⼤⾂は⾦⼦恭之⽒です。回答

Slide 53

Slide 53 text

52 まとめ • On Your Data は AI 活⽤の最初の1歩としては最適︕ だけど、本番環境に投⼊して満⾜できるものは作れない。 • RAGアプリの改善に銀の弾丸はなく、ボトルネックを特定して改善していく地道なアプローチとなるが、検索部分がボトルネックになりやすい。 • ユーザー企業であれば、データ整備に投資することが効果が出やすいし、Azureのさまざまな技術を使って綺麗なデータを整えよう。 Chapter3. On your data を超えていく

Slide 54

Slide 54 text

53 最後に宣伝︕︕︕ Chapter3. On your data を超えていく資料サンプル：https://blog.cloudnative.co.jp/22909/ 0 PUBLIC Copilot for Microsoft 365 ユーザー向け研修資料株式会社クラウドネイティブ ↓資料サンプル公開中↓

Slide 55

Slide 55 text

54 株式会社クラウドネイティブ Cloud Native Inc. 設⽴︓2017年5⽉所在地︓〒106-0032 東京都港区六本⽊1-4-5 アークヒルズサウスタワー 16F 代表電話番号︓050-1791-0450 Eメールアドレス︓[email protected] ITの世界だからこそ、⼈と⼈とのコミュニケーションを最重要視し、全員が前を向いて楽しく仕事を進められる世界を作るのが最⼤のミッションです。 https://cloudnative.co.jp