DEIM2024 チュートリアル～AWSで生成AIのRAGを使ったチャットボットを作ってみよう～

by Hiroki YAMAMOTO

Slide 1

Slide 1 text

DEIM2024 チュートリアル AWSで生成AIのRAGを使ったチャットボットを作ってみようクラスメソッド株式会社新規事業部生成AIチーム山本紘暉

Slide 2

Slide 2 text

チュートリアルの内容自己紹介（5分）前提の話（5分）・RAGとは AWSで生成AIを始めるには（15分）・AWS製リポジトリの紹介・使い方・機能の紹介実際にやってみての課題（10分）・検索システムでの読み込まれ方・コンテキストを理解させるには対象・生成AIを始めてみたい方・RAGを試してみたい方・LLMを実社会で使う上での課題に興味がある方・大学生・大学院生・研究室のご所属の方

Slide 3

Slide 3 text

自己紹介

Slide 4

Slide 4 text

自己紹介：山本紘暉修士（電子情報学）クラスメソッド株式会社研究開発エンジニア 2020年 5月～・コンピュータビジョン骨格検出や人物追跡 2023年 3月～・生成AIやLLM 最近はRAGに注力「クラスメソッド山本ブログ」で検索 https://dev.classmethod.jp/author/yamamoto-hiroki/

Slide 5

Slide 5 text

会社紹介：クラスメソッド株式会社クラウド（技術コンサル・開発）・AWS ・Google Cloud ・Azure アプリ（開発）・モバイル（Android・iOS）・LINE データ分析（基盤開発・分析）生成AI（技術コンサル・開発）運営メディア（やってみるカルチャー） https://classmethod.jp/ AWSで数多くの受賞

Slide 6

Slide 6 text

DEIM2024：ブース展示やってますスポンサーブース・ブース番号：G1 ・「クラウド技術者養成協会」のスペース大学様向けのご紹介・AWSバウチャー・Zenn Publication 山本も滞在する予定・生成AIの取組み、実社会での課題に関する議論・RAGの課題、研究に関する議論

Slide 7

Slide 7 text

背景・前提知識

Slide 8

Slide 8 text

RAGとは LLM単体では知らないことを答えさせる（RAG：Retrieval Augmented Generation）検索で LLM を拡張

Slide 9

Slide 9 text

LLMの問題点・RAGの目的ユーザ質問誤った回答 LLM プログラム質問誤った回答ユーザ質問正しい回答 LLM プログラム質問 + 関連テキスト正しい回答参考ドキュメント検索関連テキスト通常 RAG

Slide 10

Slide 10 text

RAGの構成要素ユーザ質問回答 LLM プログラム質問 + 関連テキスト回答参考ドキュメントインポート検索システム検索クエリ関連テキスト

Slide 11

Slide 11 text

RAGのシステム構成（例） AWS ユーザ Slack App Slack Notion アップロード社内ドキュメント (PDF・ワードなど) Python プログラム (in コンテナ) App Runner Kendra インデックス S3 バケット Bedrock Anthropic Claude インポート

Slide 12

Slide 12 text

RAGを使った質問・回答の様子質問「名刺を発注したいのですが、どうすればいいですか？」回答・参考ドキュメントに基づいて、発注方法を回答してくれる (使用したドキュメントへのリンクも表示)

Slide 13

Slide 13 text

RAGは社会的なニーズが高い一般業務として困っている・多くの会社で・多くの部門で社内ドキュメントを検索して回答を生成するという作業を効率化したい生成AI導入の流れ・まず質問回答から始める・その後、生成AIに業務タスクを任せる専門業務レベル (専門システムを構築) 一般業務レベル (パッケージを導入) 個人レベル (ChatGPT・Copilotを利用) 広まってる今ここもう少し先

Slide 14

Slide 14 text

AWSで生成AIを使い始めるには

Slide 15

Slide 15 text

AWSには色々なサービスがあります ※ エンタープライズ検索様々のデータソースから様々なドキュメントを読み込んで横断的に検索できるシステムの総称エンタープライズ検索※ を使いたい Amazon Kendra とりあえずRAGを試したい Amazon Bedrock（knowledge base）生成AIモデルを使いたい Amazon Bedrock（基盤モデル）文章検索エンジンを作りたい Amazon OpenSearch Service

Slide 16

Slide 16 text

AWSリポジトリの紹介（generative-ai-use-cases） https://github.com/aws-samples/generative-ai-use-cases-jp/ https://dev.classmethod.jp/articles/introduce-aws-samples-gen-ai-app-repo/

Slide 17

Slide 17 text

generative-ai-use-casesのメリット環境を用意するのが大変データを外部サービスや海外に出したくない導入しても使われることが少ないサービスを作り込むのが大変一度作るのは良いけど、その後の開発で作り直す開発コストがかかりそうデプロイが簡単データが社内環境の中で収まるユースケースごとにUIが用意されている機能が豊富・使いやすい機能追加開発が簡単課題（面倒なこと）メリット

Slide 18

Slide 18 text

generative-ai-use-casesのシステム構成

Slide 19

Slide 19 text

RAGの構成要素（genai-usecaseの場合）質問 + 会話履歴ユーザ質問回答 LLM プログラム質問 + 関連テキスト + 会話履歴回答参考ドキュメントインポート検索システム検索クエリ関連テキスト検索クエリ LLM 会話履歴

Slide 20

Slide 20 text

実際の画面を見せながら説明デプロイ方法・Cloud9を立ち上げる・数コマンドを実行する Web画面の使い方・サービス内容 RAGの有無で回答が変化する様子

Slide 21

Slide 21 text

AWSログイン～デプロイ開始：AWSにログイン AWSにログイン・アカウントID ・ユーザ名・パスワードサインインアドレス ※ 初ログインの場合はパスワードを変更してください（コラム：AWSumeを使うと便利）

Slide 22

Slide 22 text

AWSログイン～デプロイ開始：Bedrockでアクセス許可(1) Bedrockのページにアクセスリージョンは以下を選択・バージニア北部（us-east-1）「Model Access」をクリック補足：・アカウントごと、リージョンごとに1回必要・新しいモデルが出たら、そのモデルを使用するために再度必要

Slide 23

Slide 23 text

AWSログイン～デプロイ開始：Bedrockでアクセス許可(2) 「Manage model access」をクリック補足：上記は既に許可されている状態です

Slide 24

Slide 24 text

AWSログイン～デプロイ開始：Bedrockでアクセス許可(3) すべてのモデルを選択し、「Save changes」を押します補足：上記は既に許可されている状態です

Slide 25

Slide 25 text

AWSログイン～デプロイ開始：Cloud9を準備（１） Cloud9にアクセスリージョンは以下を選択・東京（ap-northeast-1）補足・自分のPCからでも可能です・Cloud9を使う理由：デプロイ時の環境の差分をなくすため動画：https://www.youtube.com/watch?v=9sMA17OKP1k&ab_channel=KazuhitoGo

Slide 26

Slide 26 text

AWSログイン～デプロイ開始：Cloud9を準備（２）「環境を作成」をクリック (※ この画像は既に1つ作成した後の状態です)

Slide 27

Slide 27 text

AWSログイン～デプロイ開始：Cloud9を準備（３）以下のように設定してください・名前：(任意のもの) ・環境タイプ：新しいEC2 ・インスタンスタイプ：m5.large ・プラットフォーム：Ubuntu ・タイムアウト：4時間画面下部の「作成」ボタンを押してください補足：上記は今回スムーズに作業するための設定で、上記以外の設定でもデプロイは可能です

Slide 28

Slide 28 text

AWSログイン～デプロイ開始：Cloud9を準備（４）作成した環境の、Cloud9IDEを「開く」をクリックし、立ち上がるまでお待ちください（数分）

Slide 29

Slide 29 text

AWSログイン～デプロイ開始：Cloud9を準備（５）環境が準備されると右画面のように変わります (以降、右下のシェルで操作します)

Slide 30

Slide 30 text

AWSリポジトリ（generative-ai-use-cases） https://github.com/aws-samples/generative-ai-use-cases-jp/ https://dev.classmethod.jp/articles/introduce-aws-samples-gen-ai-app-repo/

Slide 31

Slide 31 text

AWSログイン～デプロイ開始：genai-usecaseをデプロイ(1) Cloud9のシェルで以下のコマンドを実行してください git clone https://github.com/aws-samples/generative-ai-use-cases-jp cd generative-ai-use-cases-jp (以下はリポジトリにかかれているデプロイ手順と同じです) npm ci (npm audit fix)(必要なら) npx -w packages/cdk cdk bootstrap ※ npm run cdk:deploy はまだ実行しないでください（実行してしまっても、後から修正は可能です）

Slide 32

Slide 32 text

AWSログイン～デプロイ開始：genai-usecaseをデプロイ(2) packages/cdk/cdk.json を開き以下の２項目を変更してください・“ragEnabled”をtrueに変更（”T”rueではありません）・“allowedSignUpEmailDomains”を [“classmethod.jp”]のように変更お使いのメールアドレスのドメインを、リスト形式で設定してください補足：変更内容の詳細はこちらです・RAGの有効化・メールドメインの制限ファイルの保存は忘れずに実行してください

Slide 33

Slide 33 text

AWSログイン～デプロイ開始：genai-usecaseをデプロイ(3) Cloud9のシェルで以下のコマンドを実行してください npm run cdk:deploy 少し待つと「Do you wish to deploy these changes (y/n)？」と聞かれるので、「y」を入力して「enter」を押します（これが面倒な場合は、オプションで無視することが可能です） https://qiita.com/eyuta/items/cc9817d59aa1dc6c8b80#cdk-deploy 20～30分ほど待つとデプロイが完了します（主にKendraのIndexを作成する時間です）

Slide 34

Slide 34 text

AWSログイン～デプロイ開始：genai-usecaseをデプロイ(4) デプロイが完了するとCDKの結果が出力されますこの内、「WebUrl」がWebサービスのアドレスです

Slide 35

Slide 35 text

サービスログイン～ユースケース体験：サインイン（１）認証ページが開かれるので、「アカウントを作る」を押してください

Slide 36

Slide 36 text

サービスログイン～ユースケース体験：サインイン（２）それぞれ入力してください・ユーザ名：お使いのメールアドレス・パスワード・パスワードの確認 ※ メールアドレスはデプロイ時に設定したドメインのみ登録可能です「アカウントを作る」を押してください

Slide 37

Slide 37 text

サービスログイン～ユースケース体験：サインイン（３）メールが送られてきます確認用のコードが書かれているので、ページに入力してください「確定」を押すとログインできます

Slide 38

Slide 38 text

サービスログイン～ユースケース体験：サインイン（４）ログインするとホームページにアクセスできますここから各ユースケースを試すことが可能です

Slide 39

Slide 39 text

サービスログイン～ユースケース体験：ユースケースを試すチャットの場合 ChatGPTライクな使い方ができます他もためしてみましょう

Slide 40

Slide 40 text

RAGのチャットの差分を見てみる RAGなし（Kendraにデータなし） RAGあり（Kendraにデータあり）

Slide 41

Slide 41 text

最後（削除は忘れずに）リソースをすべて削除する場合 npm run cdk:destroy Kendraだけ止める場合 packages/cdk/cdk.json の “ragEnabled”をfalseに変更し npm run cdk:deploy を実行してくださいファイルの保存は忘れずに実行してください

Slide 42

Slide 42 text

実際にやってみての課題

Slide 43

Slide 43 text

RAG研究と異なる点データ（ドキュメント）・様々な種類・バリエーション・整備されていないデータ、明示されていない暗黙知現実的に解くには・できる限り使い回せる方法で・手間はそこまでかけられない・費用対効果

Slide 44

Slide 44 text

山本の今までの取り組み社内・QAボットを作成してみた・改善ポイントを分析した案件（お客様向け）・システムを構築した・使用状況データを分析した

Slide 45

Slide 45 text

課題：２つをピックアップ（技術的な課題）課題１：ドキュメントが読み込まれ方が意図しない形になってしまう・PDF・Word・PowerPointファイル課題２：人間が使っている情報に比べてシステムが使える情報が少ない・メタデータ・コンテキスト・暗黙的な情報

Slide 46

Slide 46 text

課題１：人間の読み方とシステムの読み方が異なる人間読むとわかる違う読まれ方をするシステム

Slide 47

Slide 47 text

課題１：テキストに変換された結果を見てみる PDF ？？ Word Power Point テキストファイル

Slide 48

Slide 48 text

課題１：確認方法：ドキュメントファイルを追加する S3バケットにドキュメントファイルをアップロード KendraのS3データソースで Syncを実行

Slide 49

Slide 49 text

課題１：確認方法：Kendraの検索機能を使って確認 Kendraの検索ページで確認 ※ API（queryやretriveメソッド）を実行した結果と異なるので、注意してください Search indexed content

Slide 50

Slide 50 text

課題１：PDFファイルの読まれ方（ヘッダ・フッタ部分）本文間にフッターやページ数が入り込んでしまう

Slide 51

Slide 51 text

課題１：PDFファイルの読まれ方（表部分）表部分がテキストの羅列になってしまうチャンクが表の途中で途切れてしまう（→ カラム名が分からなくなる）

Slide 52

Slide 52 text

課題１：PowerPointファイルの読まれ方 https://www.jinji.go.jp/saiyo/siken/senkou/setsumeikai_17.pptx 順番が変わる（オブジェクトのレイヤー順で読まれてる ※推測）親子関係がわかりにくいテキストになる

Slide 53

Slide 53 text

課題１：Wordファイルの読まれ方 https://www.jdla.org/download/ai-guideline03/ 一部加工ページに切れ目で分割されることはない（→ そんなに問題なさそう）ただ「四角で囲う強調」や「Heading」などの装飾の情報は落ちている

Slide 54

Slide 54 text

課題１：テキストファイルの読まれ方そのまま読み込まれている

Slide 55

Slide 55 text

課題１：画像は読まれない https://www.jinji.go.jp/saiyo/siken/senkou/setsumeikai_17.pptx そもそも画像があったかどうかもわからない ※ Kendraのリファレンスにもデフォルトでは画像が読み込まれないことは明記されています

Slide 56

Slide 56 text

課題１：(参考) 対策：PowerPointをMarkdownに変換する画像対応の言語モデル（GPT4V・Gemini）に読ませて、 Markdownとして出力させる入力結果

Slide 57

Slide 57 text

課題１：(補足) Kendraには前処理を実行するための機能があります・Custom Document Enrichment https://docs.aws.amazon.com/kendra/latest/dg/custom-document-enrichment.html https://dev.classmethod.jp/articles/methods-to-select-target-document-in-kendra-search/

Slide 58

Slide 58 text

課題２：回答が難しい例例：・質問「20期の年末年始のスケジュールを教えて」・ドキュメント・2023年の年末年始・2022年の年末年始ポイント・20期が何なのか把握させる・20期が何年に対応するのか計算させる・1期が何年なのか教える普遍的な社内知識に対応させる（こうしたケースが大量にある）

Slide 59

Slide 59 text

課題２：人間が利用している情報（ナレッジ関係）（社内情報に関するQAの場合） ※ 山本独自の用語です性質１質問に関わる量暗黙知明文化 (ドキュメント) 暗黙知明文化 (ドキュメント) 業務知識社内知識暗黙知明文化 (ドキュメント) 業界の常識間接的・普遍的直接的・専門的少ない多いドキュメント化されている割合

Slide 60

Slide 60 text

課題２：補足：LLMが対応できる範囲もある（はず）暗黙知明文化 (ドキュメント) 暗黙知明文化 (ドキュメント) 業務知識社内知識暗黙知業界の常識エンタープライズ検索で検索できる（しやすい）範囲暗黙知社会の常識ある程度はLLMが対応できるただし、会社固有の知識には対応できない

Slide 61

Slide 61 text

課題２：人間が利用している情報質問本文メタデータコンテキスト暗黙知明文化 (ドキュメント) 暗黙知明文化 (ドキュメント) 業務知識社内知識暗黙知業界の常識ドキュメント本文メタデータコンテキストテキスト画像リンク質問ナレッジドキュメント本文

Slide 62

Slide 62 text

課題２：システムが利用できる情報システムが使用している情報は、人間に比べてごく一部質問本文メタデータコンテキスト暗黙知明文化 (ドキュメント) 暗黙知明文化 (ドキュメント) 業務知識社内知識暗黙知業界の常識ドキュメント本文メタデータコンテキスト通常のQAシステムの対象範囲通常のQAシステムの対象範囲エンタープライズ検索で検索できる（しやすい）範囲テキスト画像リンク通常の検索システムの対象範囲

Slide 63

Slide 63 text

課題２：差分をどう埋めるのか質問本文メタデータコンテキスト暗黙知明文化 (ドキュメント) 暗黙知明文化 (ドキュメント) 業務知識社内知識暗黙知業界の常識ドキュメント本文メタデータコンテキスト通常のQAシステムの対象範囲通常のQAシステムの対象範囲エンタープライズ検索で検索できる（しやすい）範囲テキスト画像リンク通常の検索システムの対象範囲検索システムを変更するプログラムを改良するプログラムを改良する別の検索システムを追加する（？）できる限り範囲をふやす（制約：そもそもデータがあるか・実装コスト・運用可能か）どうする？ (明文化してもらう)

Slide 64

Slide 64 text

課題２：(参考) 最近取り組んでいることユーザ質問回答 LLM プログラム質問 + 関連テキスト回答参考ドキュメント前処理ドキュメント検索システム検索クエリ関連テキスト前処理済みドキュメントインポート UI 質問回答用語検索システム検索クエリ関連テキストインポート他検索システム検索クエリ関連テキスト自律システム（Agent）ドキュメント作成者・管理者フィードバックオンボーディング定期処理用語集の自動作成検索の仕組み会話履歴

Slide 65

Slide 65 text

他にも課題はたくさんデータ工学(分析・前処理)・情報検索・機械学習(生成AI・LLM) デザイン(UI・UX)・HCI・システム工学などの知見をフル活用 https://dev.classmethod.jp/articles/improve-work-efficiency-with- generateive-ai-chatbot-using-rag/

Slide 66

Slide 66 text

得られた知見 https://dev.classmethod.jp/articles/rag-knowledge-on-real-projects/ 理想的なレベルを達成するにはまだまだ課題が山積みまずは試してみて改善を繰り返す

Slide 67

Slide 67 text

まとめ

Slide 68

Slide 68 text

このチュートリアルで話したこと背景・前提知識・RAGとは：検索 + 生成AIで新たな知識に関して回答させること・世の中のホットトピック AWSで生成AIを始めるには・AWS製リポジトリが便利・使いやすい・機能が豊富実際にやると課題がたくさん・検索システムに前処理を加え意図した読み方に修正する必要・人間と同じ情報を持たせるには検索システムを追加した方が良い研究的なRAGの精度改善よりも、前段階にまだまだやることがある