サイクルガードサービス AlterLock の問い合わせ対応業務に Azure OpenAI Service を活用した話/jazug46

by TonyTonyKun

Slide 1

Slide 1 text

サイクルガードサービス AlterLock の問い合わせ対応業務に Azure OpenAI Service を活用した話 2024.2.7 第46回 Tokyo Jazug Night

Slide 2

Slide 2 text

Slide 3

Slide 3 text

このセッションでお話しすること社内データをもとに回答する問い合わせ対応業務について、弊社で提供しているサイクルガードサービス AlterLock を題材に、 Azure OpenAI Service を導入した事例を話します Azure OpenAI や AI Search の概要や機能については説明しません実際にプロダクトを作ってみて分かったことや苦労したことをエンジニアの観点でお話しします 3 Copyright© 2024, JAZUG All Rights Reserved.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

ユーザー問い合わせ対応業務の課題 7 Copyright© 2024, JAZUG All Rights Reserved. 顧客の感情や知識レベル、購入時期などを判断しながら回答を考える必要がある過去の問い合わせ履歴から適切な回答を見つけるのが困難メール返信文の作成に時間がかかるので返信用テンプレートを用紙しているが、更新が追いついていない休業期間中に問い合わせ対応ができないことが、返金などの問題に発展する可能性がある英語や他言語での問い合わせ対応を翻訳しながら回答しているので、対応に手間がかかる

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

構築して分かったこと 14 Copyright© 2024, JAZUG All Rights Reserved. RAG に取り込むデータの準備に想定していたよりも多くのコストがかかった既存業務プロセスからデータ抽出 • 取り込みに足るデータか目視の個別判定が必要なケースもあった非構造化データのフォーマット整理個人情報の取り扱い • 個人情報保護法 • AOAI で個人情報を取り扱うことはできるが、技術面ではなく法務的ハードルが結構高い • 個人情報（氏名、メールアドレス、電話番号など）の抽出 • 普通の文章に個人情報が入ってくるため、ルールベースでの抽出が難しい • Azure AI Language の PII（Personally Identifiable Information）を利用した • マスキング • 氏名は仮名に変更 • メールアドレスは後からユーザー識別できるような仮アドレスに変更 • 最終確認は目検（手動）

Slide 15

Slide 15 text

構築して分かったこと 15 Copyright© 2024, JAZUG All Rights Reserved. プロンプトの書き方にはテクニックがいる返答フォーマットを指定する • 明示しないと意図したフォーマットで返ってこない、後続の処理で取得したい情報が取れない場合がある指示が多い場合は手順を明示する • 1回のプロンプトで多くの指示（文章を作成や推敲）をすると忘れられてしまうことがあるので、できればプロンプトを分けた方が良い曖昧な言葉を使わない • 表現のゆらぎをなくす係り受け構造が伝わりやすい文章を意識する • 主語、述語、修飾語、否定、指示語

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

原因①：データソース 19 Copyright© 2024, JAZUG All Rights Reserved. そもそも類似する問い合わせメールが過去に存在しないため、欲しい回答が得られない類似する問い合わせはあるが、古い回答が得られてしまう類似する問い合わせはあるが、回答が統一化されていないため、欲しいフレーズが回答に含まれない場合がある • 得たい回答を含んだデータを追加する • データソース内のメールの回答を統一化、最新化する • AI Search のスコアプロファイリング機能で情報の新しさで重みづけする • 検索スコアの閾値を設定して、類似する問い合わせがデータソース内に存在しない場合は回答生成時に参照させないようにする

Slide 20

Slide 20 text

Slide 21

Slide 21 text

原因③：OpenAI の回答 21 Copyright© 2024, JAZUG All Rights Reserved. OpenAI が余計なアレンジを加えてしまう参照元メールや FAQ に記載のない文を付け加える問い合わせの回答文としておかしい。製品の交換が必要な旨の説明なしにいきなり交換手順案内をするユーザーの問い合わせ文の内容を復唱しているだけの場合がある代理店がユーザーの代わりに問い合わせしている場合、宛先や主語がおかしくなったり、問い合わせ内容を復唱するだけのことがある「お客様がXXという質問をしている」という問い合わせなので、立ち位置を理解できていない可能性がある • プロンプトエンジニアリングでの対応 • データソースに書いてあること以外は言及しないようにプロンプトに追記する • 立場（ペルソナ）の説明をプロンプトに追加する • 回答を返す前に問い合わせ文に対する回答として正しいか確認させる

Slide 22

Slide 22 text

どこが悪いといいきれないパターン 22 Copyright© 2024, JAZUG All Rights Reserved. 類似する問い合わせメールはヒットするが、その回答文が欲しい内容と異なるヒットした問い合わせ文の類似度は全体的に高いが、回答内容を左右する重要な部分が類似しておらず、回答の類似度が低くなる 1つの問い合わせに複数の質問が含まれていて、すべての質問に類似度の高い問い合わせ文が検索結果として得られているが、回答としてはすべての質問に答える必要がない

Slide 23

Slide 23 text

どこが悪いといいきれないパターン 23 Copyright© 2024, JAZUG All Rights Reserved. • フローチャートを利用する • 製品の現象と解決方法のパターンがある程度決まっているため、OpenAI に問い合わせ文をもとにフローチャートで状況を判断させる • 判断結果をもとに検索を行い、同様の状況の問い合わせメールを取得し回答生成する。チャートを辿れない場合は質問する文章を作成する

Slide 24

Slide 24 text

Slide 25

Slide 25 text

まとめ AOAI を活用して社内データをもとに回答するシステムを作って分かったこと回答精度の向上のためには、継続的な改善が重要となる • 開発と運用のフィードバックループを回していくアジャイル開発との相性が良さそうとりあえずデータは量を渡しておくから、いい感じに回答生成させるには限界がある • RAG では検索結果をもとに生成 AI で文章生成するため、検索精度の向上が重要となる • いくらデータ量を増やしても、質の高いデータでないと精度に限界がある • データソースにない情報には回答できない、欲しい情報をまんべんなく入れておく検索する側の文章の意図を明確化したり、複数の意図が含まれる場合は分割しておく • フローチャートで判断される状況に応じた回答文を整備しておくなど 25 Copyright© 2024, JAZUG All Rights Reserved.