PLAY の AI 活用事例_社内問い合わせ RAG チャット

Transcript

1. PLAY の AI 活用事例 社員の質問 社内のナレッジに、 AI が答える。 Slack・Web から 社内ナレッジを検索 GitHub・Slack・Backlog など Amazon Bedrock で構築した 社内問い合わせ RAG チャット「PLAI CHAT」 株式会社PLAY 根拠つきで回答
2. WHY 社内の問い合わせ対応に課題 PLAY CLOUD（自社の動画配信プロダクト群）について、社内からの問い合わせに答えるなかで起きていたこと 課題 1 課題 2 課題 3 同じ質問が何度も届く 回答に工数が取られる 新メンバーの学習が重い 似た内容の質問が、社内の問い合わ 質問の数も多く、調べて答えるのにエ 情報が Slack や課題管理に散らばり、 せ窓口に繰り返し届いていた ンジニアの時間が取られていた まとまったナレッジがなかった 影響 同じ説明を繰り返す 影響 開発に使える時間が減る 影響 立ち上がりに時間がかかる たとえば、プロダクトの用語や仕様について、こんな質問が繰り返し届く このプロダクトの主な機能は？ iPhoneでも再生できる？ 動画のサイズには上限はある？ この 3 つの課題を解くために、 社内のナレッジに AI が答える「 PLAI CHAT」を作った 02 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
3. WHAT まず AI が一次回答し、人は必要なときだけ対応する 質問者 これまで 問い合わせ チャンネル エンジニアが 調べて回答 PLAI CHAT （AI が一次回答） エンジニア 同じ内容でも、毎回エンジニアが調べて答える 質問者 導入後 まず AI が社内ナレッジから答え、解決しないときだけエンジニアへ 3 つの課題は、こう解く 課題 1 同じ質問が何度も届く 課題 2 回答に工数が取られる 課題 3 新メンバーの学習が重い → AI が社内ナレッジから答える → 人は必要なときだけ対応する → 聞けば社内の記録から答えが返 る 03 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
4. WHAT IS RAG RAG：AI に社内の「参考書」を渡してから答えさせる 生成 AI は学習した範囲でしか答えられない。そこで、社内の記録を探して答えの材料として渡す（ RAG＝検索拡張生成） 事前に：社内の記録を、探せる形にしておく 社内の記録 ① 小さく分ける ② 意味を数値に変換（ベクトル化） 断片（チャンク） GitHub・Slack など [0.12, -0.54, 0.88, …] 質問のたびに：探して、添えて、答える (2) 見つかった情報を 質問に添えて渡す 〇〇の仕様を教えて (1) 質問をもとに検索 Retrieval Augmented 社員 AI ナレッジベース (3) 情報をもとに、根拠つきで回答を生成 学習データにない社内の情報でも、 根拠を示して答えられる 04 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 Generation
5. HOW TO USE Slack でも Web でも、普段の言葉で聞ける Slack ボット イメージ メンションか DM で質問すると、スレッドで回答 社員 @PLAY CLOUD 〇〇の仕様を教えて ボット ナレッジをもとに回答（根拠つき） Web チャット プロダクトを選んで質問。会話の流れもふまえて回答 例（右の画面） 「STREAKS でできることを教えて」 → 機能を整理し、根拠つきで回答 Web チャットの画面（ PLAI CHAT） 05 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
6. ANSWER 回答には、根拠へのリンクが付く 回答のイメージ 〇〇の設定方法を教えて 〇〇は、管理画面の△△から設定できます [1]。 設定した内容は、保存するとすぐに反映されます [2]。 参照元詳細 [1] 社内ドキュメント：〇〇の設定手順 （ドキュメントで確認） [2] Slack：反映タイミングについての議論 （Slack で確認） 06 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 実際の画面
7. ARCHITECTURE Slack と Web から、同じ AI エージェントを呼び出す AI エージェント：自分で道具を使いながら作業を進める AI。ナレッジの検索と障害調査の依頼を使い分ける（次ページ） Slack ボット ナレッジベース 同じエージェントを共用 プロダクト別に 8 つ メンション・DM AI エージェント Amazon Bedrock 社員 AgentCore Web チャット API（Lambda） 社内 SSO でログイン 認証・会話の保存 07 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 検索しながら回答を組 Claude み立てる 回答を作る AI 会話履歴 回答は、生成しながら少しずつ表示する DynamoDB 会話の履歴を保存し、流れをふまえて答える
8. AGENTIC AI エージェントが、頼まれた内容で道具を使い分ける Agentic：決まった手順をなぞるのではなく、 AI が状況を見て、どの道具をどう使うかを自分で選ぶこと 知りたい 社内ナレッジを検索して答える 〇〇の設定方法は？ ・8 つのナレッジベースから検索先を選ぶ ・迷ったら複数を検索し、結果で絞り込む AI エージェント 何をすべきか判断 社員 AWS DevOps Agent に調査を依頼 調べてほしい 本番障害を調査して ・障害の一次調査を任せる ・経過と結果が同じスレッドに届く 質問なら答え、調査の依頼なら調べに行く。 どちらにするかは AI が判断する 障害調査の仕組みは、別資料「障害調査の自動化」で紹介しています 08 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
9. OVERVIEW 全体像： AWS のサービスを組み合わせて作る ナレッジベースと AWS DevOps Agent を AI エージェントが使い分ける 09 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
10. KNOWLEDGE ナレッジは、普段の仕事の記録から作る GitHub Slack Backlog OpenAPI ドキュメント Issue・Pull Request 開発・問い合わせ・障 課題・Wiki API 仕様(Swagger) PLAY CLOUD の 害まとめ ナレッジベースはプロダクトごとに分ける Web では利用者がプロダクトを選び、 Slack では AI が質問から検索先を選ぶ 10 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 製品ドキュメント
11. AUTO UPDATE ナレッジは、更新を受け取って自動で取り込む Webhook：サービス側で更新があったときに、指定した宛先へ通知を送る仕組み Lambda Firehose S3 Lambda Bedrock 受信 まとめる 保存 起動 取り込み Webhook を受け取る まとめてためる 取り込み用に置く 取り込みを開始 ナレッジを更新 更新元 更新をまとめて取り込むので、 処理の回数を抑えながら 、ナレッジを新しく保てる 10 分おきに、最新のナレッジへ更新される 11 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
12. SAFETY 機密情報を答えさせないための、 3 つの守り 業務の記録には、外に出してはいけない情報が含まれることもある。だから守りを重ねる。 社員 ① 社内 SSO ② ガードレール ③ 指示文のルール Web 版は、社内の AI の入出力を検査する 機密情報は、検索結果に 共通ログイン（SSO）を 仕組み（Amazon Bedrock） あっても回答しない 通った社員だけが使える 指示の乗っ取りや 推測や言い換えでの 機密情報を止める 開示も禁止 入口・ AI の入出力・回答の生成 の 3 か所で止める。どれか 1 つに頼らない 12 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 回答
13. SAFETY 指示文のルールとガードレールで、二重に止める 指示文（プロンプト）のルール（抜粋） 以下は、検索結果に含まれていても回答に含めない ・API キー、シークレットキー、トークン ・パスワード、認証情報、接続文字列 ・秘密鍵、証明書、署名 ・公開されていない内部 URL・IP アドレス 推測・部分的な開示・言い換えも禁止 ガードレールの設定画面（Amazon Bedrock）。AI への指示を乗っ取ろうとする入 力（プロンプト攻撃）をブロックする 学び：制限を厳しくしすぎると、必要な質問にも答えなくなる。安全と使いやすさのバランス調整がカギ 13 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
14. IMPROVE 使われ方を見て、回答を育てる 回答を育てるサイクル 管理者向けダッシュボード（①② ① Q&A を保存 ② Good / Bad で評価 Slack・Web の質問と回答を 蓄積 回答ごとに利用者が評価 のデータを見る） 週ごとの利用の推移 会話数・質問数の変化を追う プロダクト別・経路別の内訳 プロダクトごと、Slack / Web ごとの利用数 ④ 定量評価して調整 ③ 問題集を作る 評価機能で精度を測る 質問と模範回答を整理 質問と回答の CSV 出力 問題集づくりの材料にする 実線の枠＝運用中 点線の枠＝これから 14 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」
15. DASHBOARD ダッシュボード：使われ方を数字で追う 676 件の会話 Web 580 件・Slack 96 件 89 人が利用 30 日間の利用者数 見ているもの 週ごとの推移と、 プロダクト別の内訳（Web） 管理者向けダッシュボードの画面（「 30 日」を選んだ表示。 2026 年 10 月時点） 使われ方を数字で見て、 ナレッジの整備と回答の改善 に活かす 15 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」 両端の週は、期間の途中まで
16. SUMMARY まとめ： PoC から複数プロダクトの社内 AI 基盤へ PoC（試験導入）として始め、手応えを得て、いまは自社の 複数プロダクトに対応 01 02 03 記録が整うほど良くなる 根拠を示させる 安全と使いやすさの両立 回答の材料は社内の記録 回答に根拠のリンクを付け 守りを重ねつつ ドキュメントが整うほど 見つからなければ推測しない 厳しすぎて答えなくならない 良い回答が期待できる 確かめられることが信頼に よう調整を続ける これから ・Amazon Bedrock の評価機能で、回答の精度を定量的に測る ・有用な情報に対する重みづけ 16 PLAY の AI 活用事例｜社内 RAG チャット「 PLAI CHAT」