20240123_JAWS-UG AIML #19

Transcript

1. JAWS-UG AI/ML #19：AWS re:Invent 2023 Recap 2024/01/23 Amazon QのRAG機能を検証してみた 株式会社JSOL 法⼈ビジネスイノベーション事業本部 クラウドテクノロジー&イノベーション部 奥井 務
2. Agenda 1. はじめに 2. Amazon Q とは 3. RAG機能の検証 4. まとめ
3. Agenda 1. はじめに 2. Amazon Q とは 3. RAG機能の検証 4. まとめ
4. ⾃⼰紹介 奥井 務 株式会社JSOL、3年⽬ △主な業務 ・AWSサーバレスサービスを⽤いたバッチ連携基盤 ・新規ビジネス創出×AWS（宇宙、⽣成AI、データ利活⽤ など） ・Jr Champions活動、社内 AWS コミュニティーの運営など 4 ・⽇本最⼤級のIT展⽰展 Japan IT week （約45,000名来場）にて特別講演登壇 ・アジア最⼤級の宇宙ビジネスカンファレンス Spacetide 2023 にてKeynote Speech X：Tsutomu Okui JAWS初登壇 です！！
5. AWS re:Invent 2023 5 現地LasVegasにて、AWS re:Invent 2023に参加。 ↑ ⽣成AI系サービスのGameDay参加 ・期間中に発表された ⽣成AI系新サー ビス の開発を経験 AWS CEO Adam⽒ によるKeynote ・今年の発表は「 ⽣成AI⼀⾊ 」 ⾶躍的な勢いに聴講者がついていけず、 昨年よりも歓声が少ないとの声も ↓ ↑ 新サービス「Amazon Q」の発表 ・Amazon Q は⽣成AIを活⽤した エンタープライズ向けのアシスタント サービス 本⽇のTopic！
6. Agenda 1. はじめに 2. Amazon Q とは 3. RAG機能の検証 4. まとめ
7. Amazon Q ⽣成AIを活⽤したエンタープライズ向けのアシスタントサービス。 ⼤きく業務⽀援とAWS上でのシステム開発⽀援の2つの要素に分かれる。 7
8. Amazon Q ⽣成AIを活⽤したエンタープライズ向けのアシスタントサービス。 ⼤きく業務⽀援とAWS上でのシステム開発⽀援の2つの要素に分かれる。 For AWS Builder Use ・コンソール上での利⽤ - Amazon Qのボタンから使⽤ - 各サービス上での使⽤ ※現在はオレゴン州のみの利⽤可 8 Chatコンソールが提供されている AWS Supportへの起票や 会話の保存機能などを有する
9. Amazon Q ⽣成AIを活⽤したエンタープライズ向けのアシスタントサービス。 ⼤きく業務⽀援とAWS上でのシステム開発⽀援の2つの要素に分かれる。 For AWS Builder Use ・コンソール上での利⽤ - Amazon Qのボタンから使⽤ - 各サービス上での使⽤ ※現在はオレゴン州のみの利⽤可 9 Lambdaで発⽣したエラーに 対して解決策を提⽰
10. Amazon Q ⽣成AIを活⽤したエンタープライズ向けのアシスタントサービス。 ⼤きく業務⽀援とAWS上でのシステム開発⽀援の2つの要素に分かれる。 For AWS Builder Use ・コンソール上での利⽤ - Amazon Qのボタンから使⽤ - 各サービス上での使⽤ ・統合開発環境（IDEs）での利⽤ →CodeWhispererを介したAWS ToolkitをいくつかのIDEで利⽤可能 （現在は、Visual Studio Code, JetBrains） 10
11. Amazon Q ⽣成AIを活⽤したエンタープライズ向けのアシスタントサービス。 ⼤きく業務⽀援とAWS上でのシステム開発⽀援の2つの要素に分かれる。 For AWS Builder Use 機能 サービス名 データ分析と可視化 Amazon Quicksight コンタクトセンター⽀援 Amazon Connect 外部チャットアプリとの連携 AWS Chatbot ネットワークトラブルシューティング Amazon VPC Reachability Analyzer SQLクエリの⽣成 Amazon Redshift ETL処理の⽀援、コードの⾃動変換 AWS Glue コーディング⽀援 Code Transformation 機能開発 Amazon CodeCatalyst ・コンソール上での利⽤ - Amazon Qのボタンから使⽤ - 各サービス上での使⽤ ・統合開発環境（IDEs）での利⽤ →CodeWhispererを介したAWS ToolkitをいくつかのIDEで利⽤可能 （現在は、Visual Studio Code, JetBrains） ・AWS各種サービスとの連携 Amazon Q（for Business Use） Amazon Q in 〇〇 11 検証してみた！
12. Agenda 1. はじめに 2. Amazon Q とは 3. RAG機能の検証 4. まとめ
13. Amazon Q for business use 13 Amazon Qの活⽤で、検索機能 や 回答⽣成機能 、連携先とのコネクション部分 を有し、 RAGの概念を利⽤したSaaSや外部データとの連携コネクターを有するチャット回答機能を提供する。 Embeddings Questions RAG（検索拡張⽣成） Vector DB LLM （GPT） Answers ユーザー Amazon Q の提供範囲 SaaS System 顧客企業 Document AWS SaaS
14. Amazon Q for business use 14 Amazon Qの活⽤で、検索機能 や 回答⽣成機能 、連携先とのコネクション部分 を有し、 RAGの概念を利⽤したSaaSや外部データとの連携コネクターを有するチャット回答機能を提供する。 Embeddings Questions RAG（検索拡張⽣成） 顧客企業 Document Vector DB LLM （GPT） Answers ユーザー Amazon Q の提供範囲 SaaS System AWS SaaS csv, docx, html, pdf, ppt, txt 形式の資料を配置し、 ⾃動読み込み、変換を実施 S3のバケット名やRDSのDB名、 テーブル名を指定する 連携先、各種フィールド名 を指定する
15. Amazon Q for business use 15 Amazon Qの活⽤で、検索機能 や 回答⽣成機能 、連携先とのコネクション部分 を有し、 RAGの概念を利⽤したSaaSや外部データとの連携コネクターを有するチャット回答機能を提供する。 Embeddings Questions RAG（検索拡張⽣成） 顧客企業 Document Vector DB LLM （GPT） Answers ユーザー Amazon Q の提供範囲 SaaS System AWS SaaS ・Box ・Microsoft Teams ・ServiceNow ・Salesforce ・Slack ・Gmail ・Amazon RDS（MYSQL、Oracle、PostgreSQL） などなど 40種類以上のコネクターを提供
16. Amazon Q for business use 16 Amazon Qの活⽤で、検索機能 や 回答⽣成機能 、連携先とのコネクション部分 を有し、 RAGの概念を利⽤したSaaSや外部データとの連携コネクターを有するチャット回答機能を提供する。 Embeddings Questions RAG（検索拡張⽣成） 顧客企業 Document Vector DB LLM （GPT） Answers ユーザー Amazon Q の提供範囲 SaaS System AWS SaaS ユーザー向けの コンソールを提供 コンソール上から起 票を⾏うプラグイン 機能を提供 API callにより外部から Amazon Qを利⽤可能
17. 実際に検証してみた <検証内容> ・外部データソースを活⽤した検索、回答機能 ・Plugins機能 ・外部からの呼び出し 実際に RAG の仕組みを構築し、各種機能の検証を実施。 ※構築⽅法については割愛 17
18. 検証1：回答/検索機能 外部データソースを活⽤した検索、回答機能を検証。 Q. AWSのCEOは？ A. CEOはAndy Jassy Q. AWSのCEOは？ A. CEOはAdam Selipsky 正しい情報（AWSのCEO）を ドキュメントとして配置 正確な回答＋参照先の データソースを表⽰ Q. XYZのCEOは？ A. 不明 Q. XYZのCEOは？ A. CEOはAdam Selipsky 正しい情報（XYZ=AWS）を ドキュメントとして配置 複数の回答を多段で参照 し、正確な回答を⽣成 18
19. Q. AWSのCEOは？ A. CEOはAndy Jassy Q. AWSのCEOは？ A. CEOはAdam Selipsky 正しい情報（AWSのCEO）を ドキュメントとして配置 Q. XYZのCEOは？ A. 不明 Q. XYZのCEOは？ A. CEOはAdam Selipsky 正しい情報（XYZ=AWS）を ドキュメントとして配置 複数の回答を多段で参照 し、正確な回答を⽣成 検証1：回答/検索機能 外部データソースを活⽤した検索、回答機能を検証。 正確な回答＋参照先の データソースを表⽰ 19
20. Q. AWSのCEOは？ A. CEOはAndy Jassy Q. AWSのCEOは？ A. CEOはAdam Selipsky 正しい情報（AWSのCEO）を ドキュメントとして配置 正確な回答＋参照先の データソースを表⽰ Q. XYZのCEOは？ A. 不明 Q. XYZのCEOは？ A. CEOはAdam Selipsky 正しい情報（XYZ=AWS）を ドキュメントとして配置 複数の回答を多段で参照 し、正確な回答を⽣成 検証1：回答/検索機能 外部データソースを活⽤した検索、回答機能を検証。 20
21. 検証1：回答/検索機能 誤った情報をinputした場合は、解答の可能性としてデータソースと LLM⾃⾝のナレッジを提供する。 Input. 誤った情報を提供 する Q. 2022年の優勝国は？ A. 可能性を提⽰ Q. 2026年の優勝国は？ A. 未開催 ・データソースの情報 ・LLM⾃⾝のナレッジ を解答の可能性として提⽰ データソースに情報をあるもの の、「まだ開催されていない」 と解答 ←⾃動的に解答を排除 21
22. SaaSと連携したPlugin機能を検証。チャットの内容をJIRAに起票。 コンソール上で、アプリ ケーションにPluginを作 成・付与することが可能 現在連携先として、以下のサービスが指定可能 ・ServiceNow ・Salesforce ・Jira ・Zendesk Serviceにアタッチ するロールの作成 と付与 Jiraアカウントの URL Secret Managerでの オブジェクト作成 と付与 検証2：Plugin機能 22
23. SaaSと連携したPlugin機能を検証。チャットの内容をJIRAに起票。 検証2：Plugin機能 Q. Amazon Qに関する説明をJiraに起票して。 23 ポップアップが出現 ・Project名 ・Reporter名 などの情報を補完して起票 Jira上にIssueが起票される ←TeamsやGmailを情報を抜き出して、 Jiraに登録する などもできそう
24. Amazon Qを外部システムから呼び出し、アプリケーションのチャット機能を利⽤する。 検証3：外部からの呼び出し 24 Lambda上からAmazon Qのアプリケーションとチャットを⾏うソースコードを作成。 ※Pythonとboto3のモジュールを⽤いて、 数⾏のコードで、Amazon Qとの連携を実装 必要な情報は、 ・アクセスキー ・シークレットアクセスキー ・Amazon QのアプリケーションID Lambda上からAmazon Qのアプリケーションとチャットを⾏うソースコードを作成。
25. Amazon Qを外部システムから呼び出し、アプリケーションのチャット機能を利⽤する。 検証3：外部からの呼び出し 25 解答＋ 参照したデータソースの情報 を提供してくれる その他機能として、以下のモジュールがが指定可能 ・create_application： 新規アプリケーションの構築 ・create_data_source： 新規データソースの作成 ・start_data_source_sync： データソースの同期 ・・・ 質問を引数として指定 Lambda上からAmazon Qのアプリケーションとチャットを⾏うソースコードを作成。
26. Agenda 1. はじめに 2. Amazon Q とは 3. RAG機能の検証 4. まとめ
27. 27 l まだまだ検証したいポイントは多いが、Amazon Qのポテンシャルはかなり⾼そう！ → 今後⽇本語対応や機能拡張も⾒込まれるため、情報をキャッチアップしていきたい。 まとめ
28. EOF.