Amazon BedrockでAgentic RAGを構築し、Slack連携して学習曲線を〇〇にした件

Slide 1

Slide 1 text

Amazon BedrockでAgentic RAGを構築し、 Slack連携して学習曲線を〇〇にした件 2024/2/6 【AWS活用徹底Amazon Bedrock #2】Knowledge Bases 編 KINTOテクノロジーズ株式会社 IT/IS部生成AI活用PJT

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

トヨタグループのWebサービスの先駆者として、モビリティサービスを支えるプロダクトを作り、育て、世界のお客様にご利用いただくことを目指しています https://speakerdeck.com/ktc_creative/ktc-introduction?slide=10

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

だれもが当たり前に生成AI を活用していくために、生成AI活用PJTは何をしているのか？

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

時は生成AIツール乱世・・企業で生成AIツールの活用を推進するにはどうすればいいのか・・？

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©KINTO Corporation. All rights reserved. 15 各ツールの慣れやプロンプト精度向上が必要だと認識ツール別に公式ドキュメントを読み込み、マルチパラメーターを調整して精度の高いアウトプットをするのは、かなりの情報収集、実験、職人技術が必要そう。。 https://academy.runwayml.com/gen2/prompting-for-text-to-video https://academy.runwayml.com/gen3-alpha/character-videos-in-actone https://docs.midjourney.com/docs/parameter-list

Slide 16

Slide 16 text

属人化によらない、一定の品質で生成AIのアウトプット精度を向上させる仕組みはないだろうか？

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©KINTO Corporation. All rights reserved. 18 解決策：利用イメージ ①“プロンプト作成して！” というプロンプトを送信 ⑤Bedrockからの回答を受信 ②AIエージェントが各ツールのナレッジベースから情報を検索する ④取得した情報を基にAIエージェントが回答を生成する ③AIエージェントが最適な情報を取得する(RAG) ⑥生成されたプロンプトで画像を生成 Midjourney x Discord Server (画像生成UI)

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

ナレッジベース作成完了！

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

©KINTO Corporation. All rights reserved. 35 気をつけた方がいいことは・・？ • ナレッジベースの作成が失敗したら・・？リージョン、時刻、参照データの量を減らしてみる（クローリング対象のページを絞ったり、クローリングオプションを変更するなど） • ナレッジベースをアクティベーションするには、データソースの同期が必要 • クローリングできないサイトは、データソース同期に失敗する

Slide 36

Slide 36 text

Slide 37

Slide 37 text

©KINTO Corporation. All rights reserved. 37 Agentic RAGでキャッチアップの学習曲線を緩やかにする効果を期待できる学習曲線を緩やかにすることができる！ 0→1のキャッチアップはエネルギーや学習量がかなり必要。挫折してしまう原因に。ドキュメントやヘルプなどの学習教材を参照させたRAGで、学習補助をするのは0→1に有効 *The Graph has been made by GPT-4o *The Graph has been made by GPT-4o

Slide 38

Slide 38 text

©KINTO Corporation. All rights reserved. 38 Agentic RAGで学習/キャッチアップ支援をするのは有効か？ • 沢山の生成AIツールを同時にキャッチアップするのは多くの工数を要するため、ドキュメントセンターやヘルプセンターの記事を参照させたRAGは0→1の支援としては有効。 • 1→100の専門性、職人技が必要とされる部分では、検証メンバーと地道なトライ＆エラーを繰り返し、社内でユースケースをナレッジ化する必要がある。 • 生成AIツールの全社展開の場面では、検証メンバーがナレッジ化したドキュメントライブラリでRAGを実装し、学習支援ツールとするのが最適なのでは？と考えている。

Slide 39

Slide 39 text

©KINTO Corporation. All rights reserved. 39 利用イメージ（※前のスライドと同じ） ①“プロンプト作成して！” というプロンプトを送信 ⑤Bedrockからの回答を受信 ②AIエージェントが各ツールのナレッジベースから情報を検索する ④取得した情報を基にAIエージェントが回答を生成する ③AIエージェントが最適な情報を取得する(RAG) ⑥生成されたプロンプトで画像を生成 Midjourney x Discord Server (画像生成UI)

Slide 40

Slide 40 text

©KINTO Corporation. All rights reserved. 40 今後はMulti-Agentic RAGへ ⭐️スーパバイザーエージェント画像に対応するエージェント振り分け Midjourney エージェント Runway エージェント〇〇ツールのエージェント動画に対応するエージェント振り分け〇〇に対応するエージェント各エージェントへの振り分けと回答のまとめを行い、ユーザーに回答する動画に関する回答画像に関する回答〇〇に関する回答画像に関する情報検索画像に関する情報取得動画に関する情報検索動画に関する情報取得今回のスコープ

Slide 41

Slide 41 text

Appendix

Slide 42

Slide 42 text

©KINTO Corporation. All rights reserved. 42 ベストとされているチャンキング戦略は？ https://techcommunity.microsoft.com/blog/azure-ai-services-blog/azure-ai-search-outperforming-vector-search-with-hybrid-retrieval-and-reranking/3929167#toc-hId-1949807241 Microsoftによると、512トークン、 25%のオーバラップが最適とされる ※1トークン≒日本語約2文字（※モデルによる大きく異なる） ※ベクトル検索のみ (セマンティックランキングなし)

Slide 43

Slide 43 text

Slide 44

Slide 44 text

KINTOテクノロジーズと生成AIイベントを協同開催しませんか？イベントconnpassページはこちら LT、勉強会、活用事例紹介などまずは、お気軽にお問い合わせください！ ml-team-genai@kinto-technologies.com

Slide 45

Slide 45 text

Slide 46

Slide 46 text