生成AIでサポートチームをサポート 〜 チャットボットで業務効率化へ 〜

Geeks Who Drink in Fukuoka - 私の業務効率化editon - ( https://nulab.connpass.com/event/315567/ )の登壇資料｡

Transcript

1. 生成 生成AIでサポートチームをサポート でサポートチームをサポート 〜 〜 チャットボットで業務効率化へ チャットボットで業務効率化へ 〜 〜 Geeks Who Drink in Fukuoka - 私の業務効率化editon -
2. Tsuyoshi Yamasaki 山崎 山崎 毅 毅 株式会社ヌーラボ 株式会社ヌーラボ Product SREs for Backlog @revsystem 自己紹介 自己紹介
3. 目次 目次 ・どのようなものを作ったか ・導入してみた結果 ・チャットボットを業務効率化に結びつけるには ・まとめ ・なぜサポートチーム向けチャットボットを作ったのか
4. その前に その前に... 今回のチャットボットは、"まだ まだ"業務効率化には結びついていません。 業務効率化の種まきをし、いろいろと壁にぶつかりながら試行錯誤しています。 開発に着手してみたものの 開発に着手してみたものの... AIに読み込ませるデータ量が思ったより少ない 少ない 元データに書かれていないこと 書かれていないことが回答に含まれる 導入してみたものの 導入してみたものの... 回答の精度が利用者の期待値より低い 低い 通常業務で使用するチャットトピックにボットを導入したため、 精度の低い回答がノイズになる
5. なぜサポートチーム向けチャットボットを作ったのか なぜサポートチーム向けチャットボットを作ったのか Backlogの利用者や潜在顧客からのお問い合わせに回答 するチャットボットがあれば、サポートチームの業務 負担を減らせるのでは? チャットボット試作のきっかけ チャットボット試作のきっかけ 孫課題つくりたかばってん? Backlogで は親課題の下に子課題しかつくれんけ ん、孫課題をつくるたってアイデアを2 つ教えるばい。 アイデア1) カテゴリーかマイルストー ンを使うてみ。 アイデア2) チェックリストを使うて み。 孫課題を作りたいんだけど、どうやっ たらいい？ ※ 完成イメージ
6. なぜサポートチーム向けチャットボットを作ったのか なぜサポートチーム向けチャットボットを作ったのか チャットボットが誤った回答をしたら、サポートへの 問い合わせが増えたり、利用者の混乱をまねくリスク がある アイデアは良さそうだけど、不正確な情報を回答した アイデアは良さそうだけど、不正確な情報を回答した 場合のリスクが高い 場合のリスクが高い 課題登録画面でマイクアイコンをク リックして。そしたら、「はいよ、何 を言うっと?」って聞かれるでしょ。そ こでアナタが登録したい課題の内容を ハッキリと言ってちょ。博多弁でも大 丈夫やけん。 音声で課題を登録できる？ ※ 架空の回答です。音声登録機能は存在しません。 例えば...
7. なぜサポートチーム向けチャットボットを作ったのか なぜサポートチーム向けチャットボットを作ったのか "お客様からの問い合わせに対する回答文章"と"関連するヘルプ ページのリンク"を生成できれば、サポートチームの業務負荷 を減らせるのでは?? 文章を考える時間や関連ページを探す手間が省けて、業務効率 化につながりそう。 そこで、違う視点で仮説をたててみた そこで、違う視点で仮説をたててみた
8. 開発中に出会った本 開発中に出会った本 "カスタマーサポート分野は現時点で生成AIが最も威力を発揮 するとされている分野" (今井翔太, 2024年,『生成AIで世界はこう変わる』,SBクリエイティブ) "サービスの質を落とさず、場合によっては高い顧客満足度と 高速化を達成しつつ、顧客とのやりとりを半自動化できる" "生成AIの導入によりカスタマーサポートの質・生産性・満足 度が向上する" "不適切な出力を顧客に返すリスクを回避しつつ、エージェン トの作業を効率化できる"
9. Backlogヘルプセンターの全ページをスクレイ ピングし、赤枠以外のブロックを除去した HTMLファイルを作成しAWS S3に保存 HTMLデータをKnowledge Base for AWS Bedrockを利用しOpenSearch Serverlessに登 録 TypetalkからAWS Lambdaを経由してAPIでAI に問い合わせて、回答を得る。 １． ２． ３． どのようなものをつくったのか どのようなものをつくったのか ここは不要
10. API Gateway Typetalk Lambda S3 Bedrock OpenSearch Serverless (HTMLデータ) どのようなものをつくったのか どのようなものをつくったのか
11. 間違った回答ばかり でてくる... ヘルプセンターの情報量 に偏りがありすぎる プロンプトやBedrock の調整が思うように いかない 思ってたのと違う 思ってたのと違う... 回答と関連リンクが 一致しない 精度が悪くて、 チャットボットがノ イズになる 導入したものの 導入したものの...
12. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360035646434.html 改善してみた結果 改善してみた結果
13. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360036147373​.html​​ 改善してみた結果 改善してみた結果
14. そのままユーザーへの回答に使えそうな文章が生成された そのままユーザーへの回答に使えそうな文章が生成された https://support-ja.backlog.com/hc/ja/articles/360038329474.html​ 改善してみた結果 改善してみた結果
15. 実務に使えそうなくらいの回答が得られるようになった！ 実務に使えそうなくらいの回答が得られるようになった！ 改善してみた結果 改善してみた結果
16. Backlogヘルプセンターの情報量が ヘルプセンターの情報量が(AIに読ませるには に読ませるには)少ない 少ない 誤った回答内容が出力される 誤った回答内容が出力される 正解データを読み込ませているので誤回答はまれだろうと考えていたが、そんなことはな かった。 人間には読みやすいが、画像内の情報は(今回の仕組みでは)生成AIの解析対象にならない。 元データに含まれない内容には回答しないようプロンプトを定めても、AIはもっともらしい 嘘をつく。 約300ページあるが、スクリーンショットや図が中心でテキストが少ないページがある。 考察 考察
17. Backlogヘルプセンターの情報量が ヘルプセンターの情報量が(AIに読ませるには に読ませるには)少ない 少ない 誤った回答内容が出力される 誤った回答内容が出力される 完全に回避することは不可能なので、可能な限りの対策を行う 画像内の情報はサイト内検索でもヒットしないので、一般ユーザーも必要な情報にたどり着け ない。その結果、お問い合わせが増えているかもしれない ・サイト内検索でページがヒットするように、ヘルプセンターのテキスト情報量を増やす ・画像情報を認識できるようチャットボットの実装を変える ・事前にAIに与えるシステムプロンプトの工夫 ・類似度の高いドキュメントを複数件抽出し、推論につなげる ・ドキュメントの定期的なメンテナンス チャットボットを業務効率化に結びつけるためには チャットボットを業務効率化に結びつけるためには
18. 生成 生成AIと連携したチャットボットはカスタマーサポートの業務効率化と相性が良い と連携したチャットボットはカスタマーサポートの業務効率化と相性が良い ドキュメントの継続的なメンテナンスが大事。ドキュメントが古かったり誤ってい ドキュメントの継続的なメンテナンスが大事。ドキュメントが古かったり誤ってい ると、 ると、AIは正しい回答を出力できない。 は正しい回答を出力できない。 ・開発者だけでは解決できないので、社内の協力が必要。 ・想定した回答が得られなかった場合にドキュメントを工夫する習慣ができるとより良い。 ・ドキュメントのメンテナンスは、AIにもサイト内検索にも優しい ・問い合わせに対する回答文章を簡単に生成できる ・生産性の向上や、サポート担当者や顧客の満足度向上につながる まとめ まとめ
19. Qiitaに生成 に生成AI関連の記事を投稿しています。 関連の記事を投稿しています。 https://qiita.com/revsystem​ 宣伝 宣伝