Amazon BedrockとAmazon Kendraで 専門知識から回答できる生成系AIサービスを構築！ ～業務効率化につなげている話～ セゾン情報システムズ 石原直樹 2023年10月23日第5回クラウドLT大会 1

自己紹介 ⚫ 石原 直樹（いしはら なおき） ⚫ セゾン情報システムズ 2年目 • お客様先にてCCoE • 社内LLM研究会 ⚫ 好きなAWSのサービス ・ Amazon Kendra 2

今日話すこと ・Amazon Bedrock / KendraのRAGアプリ ・使ってもらった方からのフィードバック 3

今日話さないこと ・具体的な実装方法の話 ・ChatGPT、Azure Open AIの話 4

Amazon Bedrock / Kendraの説明 5

https://www.itmedia.co.jp/news/articles/2310/04/news143.html Amazon Bedrockとは 6

https://it.impress.co.jp/articles/-/25424 Amazon Bedrockとは 7

Amazon Kendraとは https://pages.awscloud.com/rs/112-TZM-766/images/20230330_28th_ISV_DiveDeepSeminar_Kendra.pdf 8

Amazon Kendraとは https://pages.awscloud.com/rs/112-TZM-766/images/20230330_28th_ISV_DiveDeepSeminar_Kendra.pdf 9

Amazon Bedrock / KendraのRAGアプリ ※RAGとは・・外部のDBから情報を取得して、LLMが回答を生成する仕組み 10

製品サポート部門 Kendraによるセマンティック検索と Bedrockによる基盤モデルを活用して業務効率化を図る！ 背景 数万件の製品FAQからキーワード検索 目的のドキュメントを 見つけるのに時間が かかる、、、 https://faq2.hulft.com/category/show/2?site_domain=open_jp 11

※動画内の情報は全て一般公開されているものです。 動画をお見せします！ 12

回答生成までの流れ User ① Amazon Bedrock Claude 2 ③ ④ ⑤ ② ⑦ ⑥ Amazon Kendra AWS Secrets Manager ① 一般公開されていないFAQ 13

⑤ ⑥ Claude 2 ⑦ ②質問 事前のデータ同期 User ①同期 Amazon Bedrock ③ ④ Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ 14

⑤ ⑥ Claude 2 質問~Kendraの結果表示 User ①同期 Amazon Bedrock ⑦ Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ②質問 ③検索クエリ ④結果表示 15

②質問 Kendraの結果取得~回答生成 User ①同期 Amazon Bedrock Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ③検索クエリ ④結果表示 ⑤結果を取得 ⑥回答 生成 ⑦ 16 Claude 2

⑤結果を取得 ⑥回答 生成 Claude 2 Kendraの結果取得&Bedrockの回答確認 User ①同期 Amazon Bedrock Amazon Kendra AWS Secrets Manager ①認証情報を参照 一般公開されていないFAQ ②質問 ③検索クエリ ④結果表示 ⑦結果& 回答確認 17

参考にしたGitHubリポジトリ https://github.com/aws-samples/jp-rag-sample ・2時間で構築可能 ・Amazon Bedrock対応! 18

いいところ • 回答の質が高い • 待ち時間が気にならない • データソースの追加が容易 19

回答の質が高い RAGアプリの回答 素のモデルの回答 資料[0]によると、HULFTの設定を異 なるOS間で直接引き継ぐ機能は用 意されていないようです。 代替手段として、HULFTの管理情報 をパラメータファイルに書き出して移 行する方法が提案されています。 はい、HULFTの設定を異なる OS間で引き継ぐことは可能で す。 主に以下の2つの方法が あります。～～～～～ 質問：異なるOS間でHULFTの設定を引き継ぐことは可能でしょうか。 もっともらしい嘘の回答 （ハルシネーション） 正確な回答 20

待ち時間が気にならない Amazon Kendra Amazon Bedrock 約10~20秒 約2秒 Kendraの検索結果 AIの回答 21

データソースの追加が容易 Amazon Kendra 数回クリック 追加 豊富な対応コネクタ •Amazon S3 •Amazon RDS for MySQL/PostgreSQL •Amazon Aurora MySQL/PostgreSQL •Amazon FSx for Windows File Server •Amazon WorkDocs •Adobe Experience Manager •Alfresco •Box Enterprise •Atlassian Confluence •Dropbox •GitHub (オンプレミス & SaaS) •Google Drive •Google Gmail •Jira Cloud •Microsoft Exchange(E-mail) •Microsoft OneDrive •Microsoft Teams •Microsoft SharePoint (Online&On-P) •Microsoft Yammar •Perficient •Quip •Salesforce •Slack •ServiceNow •Zendesk ※CFn、CLI等でも可 22

使ってもらった方からのフィードバック 23

もっと色んなドキュメントを一括で検索できるようにするとよ り有効活用できると思います。 AIの回答や検索結果に目的と異なる情報が含まれている （特定の条件でフィルタリングしたい） 24 多かった意見 ※文言は多少変更しています。 トレードオフ

25 改善策の例 ・Amazon KendraをEnterprise Editionにアップグレードする ・Amazon KendraのAttributeFilter機能を用いる https://aws.amazon.com/jp/kendra/pricing/ Amazon Kendraにおける各Editionの違い Developer Edition Enterprise Edition ドキュメントのストレージ 最大10,000ドキュメント 最大100,000ドキュメント データソース 5 50 月額料金 810 USD 1008 USD

他企業の事例 ・クラスメソッド、社内ヘルプデスクに生成AIを活用、 Amazon Bedrock/Kendraを組み合わせて構築 https://it.impress.co.jp/articles/-/25430 ・竹中工務店、建設業ナレッジ検索「デジタル棟梁」を生成AI 「Amazon Bedrock」で構築 https://it.impress.co.jp/articles/-/25424 ・富士ソフトが生成系AIサービス「Amazon Bedrock」の活用をサポート https://romptn.com/article/17450 26

さいごに伝えたいこと 27

Kendraの記事、、少なすぎ？ https://qiita.com/tags/bedrock https://qiita.com/tags/kendra 28 ・https://qiita.com/ における記事数（2023/10/23時点）

https://qiita.com/tags/bedrock https://qiita.com/tags/kendra 29 「Amazon」つけ忘れてた？ GAは3年以上前のはず、、、

みんなでナレッジを溜めていこう！ 記事投稿はやはり重要 →最初に手を動かすきっかけになる →ユーザーが増える →よりナレッジが溜まる 30

ご清聴ありがとうございました！ 31