導入から運用まで！サーバーワークスの生成AI社内活用事例

AWS Summit 2024のブースセッションにて登壇した資料です。
・Amazon Bedrock のご紹介
・サーバーワークスのRAG運用事例
・生成AI活用のためのおすすめファーストステップ

Transcript

1. 導入から運用まで！サーバーワークスの生成 AI社内活用事例 村上 博哉 株式会社サーバーワークス
2. 2 自己紹介 氏名 村上 博哉 (むらかみ ひろや) 主な役割 お客様のAWS運用最適化（カスタマーサクセス）の支援 を担当 AWS認定資格 Machine Learning など7つ
3. 目次 1. Amazon Bedrock のご紹介 1. Amazon Bedrock の特徴 2. Amazon Bedrock の活用パターン（RAGのご紹介） 2. サーバーワークスの社内活用事例 1. 社内QAチャットボットの導入 2. 運用でやっていること 3. 生成AI活用のためのおすすめファーストステップ 3. まとめ
4. 1. Amazon Bedrock のご紹介
5. 1-1. Amazon Bedrock の特徴
6. 6 Amazon Bedrock の特徴 インフラの管理は不要 利用料は使った分だけ入出力トークンに応じた課金 サーバーレスなサービスなのでインフラの管理は不要 複数のモデルを利用可能 データプライバシー ユーザーの入力や Amazon Bedrock からの出力はAWSやモデルプロバイダ側で再利用されない 閉域網からも Amazon Bedrock サービスエンドポイントにアクセス可能 API コールしたリージョン内に顧客データが保管される 他のAWSサービスとの統合による親和性が高い
7. 7 他の AWS サービスとの統合による親和性が高い すでに AWS を使っている場合、既存の監査・証跡管理をそのまま踏襲できる AWS Identity and Access Management (IAM) による権限管理 AWS CloudTrail による証跡管理 Amazon CloudWatch によるメトリクス・ログ監視 参考： Amazon Bedrock のモニタリングを考える
8. 1-2. Amazon Bedrock のよくある活用パターン
9. 9 RAG（検索拡張生成） ユーザーの質問に関連する情報をプロンプトに含めることで、 Amazon Bedrock が知らない情報でも回答を可能にするプロンプトエンジニア リングの手法
10. 2.サーバーワークスの社内活用事例
11. 2-1.社内QAチャットボットの導入
12. 12 社内QAチャットボット「サーバーワークスアシスタント」 社内のルールやナレッジに基づいて回答するチャットボット 普段使っているSlackから利用 会話履歴を踏まえたやりとりも可能 ↓（有給休暇の）有効期限であることを理解
13. 13 なぜ社内QAチャットボットをやろうと思ったのか 社内ポータルサイトの課題 情報量が多い よく似た情報が複数ページにまたがって記載されている 古い情報が上位に検索されることがある 入社歴の浅いメンバーを中心に「どこに何が書いてあるか探しにくい」状況 社内ルールなどの自社データとAmazon Bedrock を組み合わせた RAGをつくろう！
14. 14 社内QAチャットボットの構成 社内情報の検索にAmazon Kendra を採用
15. 15 社内QAチャットボットの導入効果 利用実績 導入から 70 日間で質問総数は 589 件（ 1 日あたり 7 ~ 8 件） 部署間の問合せツールとして採用 何度でも同じことを質問できる 一次情報のブラッシュアップが盛んになった 一次情報に書いていないことはAIも答えられない 詳細: Amazon Bedrockを使った社内QAチャットボットを3か月運用して起きた変化
16. 2-2.運用でやっていること
17. 17 「生成AI導入したけど誰も使わない…」にならないために 導入して終わりではなく RAGの評価・改善が必要
18. 18 RAGの評価 オフライン評価 データセットを使った評価 オンライン評価 ユーザーのフィードバックを基に行う評価 Amazon Bedrock からの回答の末尾に フィードバック用のボタンを設けている 質問 コンテキスト 回答 フランスの首都は ? 西ヨーロッパのフランスには、中世の都市、高山の村、地中海の ビーチが含まれています。首都パリは、ファッションハウス、 ルーブル美術館などの古典的な美術館、エッフェル塔などの記念 碑で有名です。 パリです
19. 19 オフライン評価の実例① データセットの準備 チャットボットの使用履歴を保存している Amazon DynamoDB から特定の期間のデータセットを抽出 データセットに含まれる情報 ユーザーからの質問 質問に関連するコンテキスト（ Amazon Kendra が検索してきた文書） Amazon Bedrock からの回答 質問 コンテキスト 回答 フランスの首都は ? 西ヨーロッパのフランスには、中世の都市、高山の村、地中海の ビーチが含まれています。首都パリは、ファッションハウス、 ルーブル美術館などの古典的な美術館、エッフェル塔などの記念 碑で有名です。 パリです
20. 20 オフライン評価の実例② コンテキストおよび回答の関連性を数値化 Context Relevancy Amazon Kendra が検索してきた情報がユーザーの質問に関連しているか Answer Relevancy Amazon Bedrock が回答した内容がユーザーの質問に関連しているか RAG評価フレームワークのragasを活用 参考ブログ：RAG評価フレームワークのragasを使ってみた 質問 コンテキスト 回答 フランスの首都は ? 西ヨーロッパのフランスには、中世の都市、高山の村、地中海の ビーチが含まれています。首都パリは、ファッションハウス、 ルーブル美術館などの古典的な美術館、エッフェル塔などの記念 碑で有名です。 パリです
21. 21 オフライン評価の実例③ 過去714件の履歴を可視化 Answer Relevancyが0.5以上の割合が84%以上 ユーザーの質問に関連性の高い回答ができている ユーザーの質問に関連する 回答ができている
22. 22 オフライン評価の実例④ 散布図による分析 右図は714件を描画したもの X軸にContext Relevancy Y軸にAnswer Relevancy ユーザーのフィードバックで色分け
23. 23 オフライン評価の実例⑤ 分析 Context Relevancyは低いがAnswer Relevancyは高い ユーザーの質問に関連する文書を上位10個 検索するよう設定しているため、関連性の高くない 情報も含まれる場合がある 検索した10個のコンテキストのうち1個でも ユーザーの質問に関連していれば Amazon Bedrockは正しい回答をしていることが 分かる 改善 基本的にはAnswer Relevancyが低いものを分析 チャットボットが回答できていない 存在しない情報に関する質問のため検索できない → 回答できないパターン が多数 一次情報のブラッシュアップへつなげる
24. 24 オンライン評価の実例① Answer Relevancy が高いとユーザーの評価も良いことが分かる 改善対象 Answer Relevancy が高いにも関わらず、 ユーザーの評価が低いもの →もっともらしく間違った回答を生成していた
25. 25 オンライン評価の実例② 「正しい回答が返ってこない」というフィードバックを契機に一次情報を整備 Confluence から別のSaaSへ遷移しないと情報が得られないようになっていた Confluence に表形式でFAQを追加 結果、正しい回答が生成されるようになり、部署間の問合せツールとして採用
26. 2-3.生成AI活用のためのおすすめファーストステップ
27. 27 手軽に生成AIを試せるプレイグラウンド プレイグラウンド 様々なモデル、様々なパラメータ設定でモデルの推論を 試すことができる テキスト生成モデルや画像生成モデルに対応
28. 28 手軽に生成AIを試せるプレイグラウンド 主な検討ポイント 回答の質と料金のバランス Temperature などのパラメータ
29. 29 手軽に生成AIを試せるプレイグラウンド 主な検討ポイント 回答の質と料金のバランス Temperature などのパラメータ Amazon Bedrock の回答 パラメータ
30. 30 生成内容を確認し、どのモデルを使うか検討する Compare mode で生成内容を比較できる Claude 3 Sonnet 入力トークン 1,000 あたり$0.003 出力トークン 1,000あたり$0.015 Claude 3 Opus 入力トークン 1,000 あたり$0.015 出力トークン 1,000あたり$0.075
31. 31 手軽に生成AIを試せるプレイグラウンド 主な検討ポイント どのモデルを使うか（回答の質と料金のバランス） Temperature などのパラメータ パラメータ Amazon Bedrock の回答
32. 32 生成に影響を与えるパラメータ Temperature 0~1の範囲のパラメータ（1以上を設定できるモデルもある） Amazon Bedrock が生成する内容の多様性を調整できる Temperature が高いとき、LLMの回答は多様化する Temperature が低いとき、LLMの回答は一貫する まずはTemperature のみを調整する （参考）Top P、Top Kとは 確率の低いトークンが生成されるのを防ぐために利用される Top P 生成する言葉の候補の累積確率がP%に達した時点で、以降の候補は 切り捨てる Top K 生成する言葉の候補の上位K個の中から次の言葉を生成する
33. 3. まとめ
34. 34 まとめ 本セッションのまとめ Amazon Bedrock は他AWSサービスとの親和性が高く、従量課金のサービスである 社内データを組み合わせたRAGが導入しやすく、会社独自の価値が出しやすい おすすめするネクストステップ プレイグラウンドでAmazon Bedrock に触れる 社内データを組み合わせたユースケースについて考えてみる AI活用のご相談はぜひサーバーワークスに！
35. ブースにて 生成AI文章検索サービスデモ実施中！ お気軽にお試しください！