MLによって自己進化するFAQシステムの話

Transcript

1. MLによって自己進化するFAQシステムの話 © 2025 M3, Inc.
2. 自己紹介 鴨田 将来（Masayuki Kamoda） エムスリー株式会社 AI・機械学習エンジニア 自動運転向け機械学習システムや大量文書RAG システムの構築などを経験。 2024年にM3にJoin。 主に製薬企業向け機械学習システムを担当 趣味：ボルダリング、育児
3. • 問い合わせデータがあればFAQサイトが自動生成できる • 分類、クラスタリング、生成、検索の技術を総合的に活用 • デモ作成→リリースに1ヶ月というスピード感 #MLで自己進化するFAQ　でSNSに実況投稿していただけると！ 3行まとめ
4. FAQサイトでよくある悩み 1.
5. FAQサイトの課題 ユーザーが使う言葉とFAQで使わ れている用語が異なりHitしない 同じ質問が複数のFAQ項目に散在 している 正しい情報が 見つからない 問い合わせ内容を分析し、分かりや すい文章を作成するには手間と時間 がかかる コンテンツ作成の 負担が大きい FAQサイトがうまく機能していない 場合、コールセンターへの問い合わ せ数が増加する 問い合わせ数が減らない
6. やりがちな対策 類似した内容のFAQが乱立し、 かえって分かりにくくなる。 検索システムの改修も必要 とりあえずFAQを 増やして終わり 過度な細分化は逆に迷いの原因 に。直感的なナビゲーション設 計が必要 カテゴリの細分化 FAQメンテナンス、コールセン ターの人員増強は一時的な対応 で根本解決にはならない。 人員の増加
7. 目指すべき状態 リソースや仕組みをいきなり追加できない。なるべく早く課題を解決したい。 コールセンターがお客様対応をしていれば勝手にFAQサイトが生成されることを目指す！ 欲しい情報がすぐに見つかる ユーザー向け 同じような問い合わせが減る コールセンター向け
8. AI・機械学習チームの解決方法 2.
9. 既存システムを踏襲した FAQ作成方法 現行踏襲はこの流れ。。 既存カテゴリに分類 既存カテゴリに無い 担当者がFAQ作成 既存検索システムに 追加 カテゴリの粒度が担当者依存になってしまう そのFAQ作成で問い合わせが減少するのか検証しずらい 単にFAQを追加してくだけだと徐々に検索体験が悪くなる
10. 問い合わせ履歴からFAQを作成 クラスタリング 分類 生成 問い合わせ 履歴 FAQ 複数技術をを駆使してスマートに解決
11. 1.FAQ作成が必要な問い合わせ履歴を分類・抽出 分類 問い合わせ履歴 FAQ作成が必要な 問い合わせ履歴 既存FAQ 参照
12. 2.類似問い合わせをクラスタリングし、問い合わせを抽象化 FAQ作成が必要な 問い合わせ履歴 問い合わせA群 問い合わせB群 問い合わせC群 クラスタリング
13. 3.問い合わせクラスごとに解決できるFAQを生成 問い合わせA群 問い合わせB群 問い合わせC群 FAQ：A FAQ：B FAQ：C 生成
14. FAQ作成方法の改善 AI・機械学習チームが実施した方法 既存システムを踏襲したFAQ作成方法 必要な問い合わせ を抽出 既存カテゴリに 分類 既存カテゴリに 無い 担当者がFAQ作成 既存検索システム に追加 問い合わせを クラスタリング 解決できるFAQを 作成 検索ロジックを 見直し 現行システムや仕組みに拘らず、 担当者依存の作業→問い合わせ減少に効果的なアプローチを実施
15. 追加など FAQサイト以外にも！ 生成 分類 クラスタリング 製品フィードバック 質問と回答や 共有されたノウハウ 類似の要望や不具合 類似の質問 製品改善提案や 開発タスク 社内版FAQや 業務マニュアル プロジェクト管理 ツール 社内Wikiなど 製品改善 業務効率化 社内に散在するテキストデータを 「価値ある資産」に変えるための強力なフレームワーク
16. 自己進化するシステム 3.
17. 生成されたFAQレビューから検索システム投入までの流れ 自己進化するシステム 未レビュー FAQ レビュー済み FAQ FAQごとの フィードバック 作業者がFAQのブラッシュアップに集中できる仕組みを導入 簡単に検索対象から 除外できる仕組み 既存FAQの ブラッシュアップも！ 定期的にまるっと 同期
18. 検索ログや問い合わせをフィードバックとして検索最適化 自己進化するシステム 既存FAQ毎に、分類時に参照された回数や検索回数を 検索スコアの重みに反映 分類 問い合わせ履歴 FAQ作成が必要な 問い合わせ履歴 既存FAQ 参照 FAQの参照回数を連携 検索でクリックされた 回数
19. 1ヶ月でのスピード導入 3.
20. 1ヶ月でのスピード導入 リリース後 1週間 デモ作成 検索画面のデモをクライア ントに公開、概ねOKが出 たタイミングでリリース準 備実施 コード清書 デモコードは生成AIのパワーを ゴリゴリに使ったので、プロダ クトコードに清書。 3週間 効果検証 KGI＝問い合わせ数減少とし、 KPIを複数設定し、効果検証を 実施 FAQ整備 FAQブラッシュアップに向けた 運用フローの実施 インフラ整備 GCP上に安全にAPI公開するため のインフラ整備を実施。 Skaffold + Helmでワンボタン デプロイできるようにした サービスチームとの連携 リリース対象のサービスチーム とリリース準備はもちろん、効 果検証向けにLogの調整も実施 検索ロジックの最適化 インクリメンタルサーチの導 入、形態素解析＋bigramのカス タムアナライザー実装 通常半年〜1年くらいかかる？ところを1ヶ月で実施 生成AIを活用した開発と、 プロダクトリリースしやすい基盤整備のおかげで高速にリリースできた
21. • 問い合わせデータさえあれば効果的にFAQを作成できる • 検索部分も改善することによってFAQ検索体験が損なわれない • 社内に散在するテキストデータを「価値ある資産」に変えるための強力なフレームワーク • 既存実装に囚われがちだが、それが目的達成にFitするか？は別問題ということを学んだ。 • 実はアプリ〜インフラまで一気通貫で作業担当したのは初めてなのでGCPﾁｮｯﾄﾜｶﾙになった。 まとめと学び
22. M3の紹介 4.
23. (※) 2023年10月時点 日本の医師のエムスリー会員率 エムスリーが事業展開している国の数 エムスリーが占める全世界で医師会員の割合 全世界で医師会員合計 17 カ国 (※) 50 %以上 (※) 650 万人以上 (※) 90 %以上 エムスリー が展開する医療従事者向け情報 サイト「m3.com」は32万人を突破、日本 の医師の9割以上が会員。(※) 日本の医師の9割が登録するエムスリーのサービス グローバルでも医師の5割以上が会員、医療業界に根付く事業基盤 圧倒的な医療データへのアクセス容易性を活かしたAI開発 23
24. 打席にたくさん立つための３つのスタートアップカルチャー 全員レビュー体制と基盤作りを徹底 企画から1ヶ月で サービスインする環境を実現 開発速度を保つための 徹底的なシステム化 企画、営業、フロント開発もOK! 成果のための ものづくり、行動を常に推奨 必要な事はなんでもやる オーナーシップ ex-楽天、ex-PKSHA、計算科学PhD、 医学PhDなど20名弱のチーム 隔週でCEOとも直接議論 経営陣直下の スペシャリスト集団 事業価値を創れるエンジニアへステップアップできる環境
25. エンジニア採用ページ https://jobs.m3.com/engineer/ プロダクト紹介ページ https://jobs.m3.com/product/ エムスリーテックブログ https://www.m3tech.blog/ エムスリーをもっと詳しく 社員インタビュー https://www.wantedly.com/companies/m3_inc VPoE登壇資料 fukabori.fm https://fukabori.fm/episode/59 https://fukabori.fm/episode/60 Connpass公式グループ https://m3-engineer.connpass.com/ エンジニア公式YouTube https://www.youtube.com/channe l/UC_DkAOcwgmtQnJLDctci4rQ エンジニア公式Xアカウント https://x.com/m3_engineerin g
26. とりあえずXのフォローしていただければOKです！ エンジニア公式Xアカウント https://x.com/m3_engineering
27. ご清聴ありがとうございました