BigQuery・LLM を活用したユーザーの検索意図分析の事例

2023年10月3日の【IVRy/LAPRAS/Sansan/Ubie】Meetupで紹介したUbieのLLM活用事例です。
https://sansan.connpass.com/event/295958/

Transcript

1. 2023/10/03 【IVRy/LAPRAS/Sansan/Ubie】Meetup BigQuery・LLM を活用したユーザーの検索意図分析の事例 Ubie @masa_kazama
2. 2 自己紹介(@masa_kazama) • 大学院で機械学習を研究。 • 卒業後、リクルートと Indeedで、推薦システムの開発に携わる • 2020年にUbieに入社し、データサイエンスチームをリード • 最近は社内の生成AIチームの立ち上げ・推進 • 2022年、「推薦システム実践入門 (オライリー)」を執筆 • 東京都立大学非常勤講師
3. 3 Ubie会社概要 医師とエンジニアで創業 「テクノロジーで人々を適切な医療に案内する」 医療AIスタートアップ企業 社名　　　：Ubie株式会社 代表　　　：阿部吉倫（医師）、久保恒太（エンジニア） 設立　　　：2017年5月（創業7年目） 従業員　　：260名（2023年7月現在） オフィス　：東京、アメリカ、シンガポール 累計調達額：107.3億円 社名の由来：”指”で医療にアクセスする
4. 4 主要サービス 医療機関向けの業務効率化等サポートサービス「ユビーメディカルナビ」と 生活者向けの受診支援アプリ「症状検索エンジン ユビー」を提供しています 導入施設 1500 件 登録 かかりつけ医 15000 件 問診業務効率化や認知向上など、 患者さんとのコミュニケーション設計を通じ、 診察の質向上を支援する ユビーAI問診 ユビーリンク ホームページAI相談窓口 問診業務効率化 （有料） かかりつけ医サポート （無料） 症状から受診の手がかりがわかる 結果から医療機関につながる （無料） 利用者 月間 700万
5. 5 Ubieでの生成AIの取り組み 生産性向上 エンジニア生産性 営業生産性 Ops生産性 リスク最小化(法律、政府・業界動向) プロダクトへの活用 toCプロダクト toBプロダクト 新規プロダクト 生成AIの基礎技術検証 生成AIの各種アカウント整備(Google, OpenAI, Azure)
6. 6 社内用ChatGPTツールによる生産性向上 • 機密情報を入力して試せる • 従量課金なのでコストを抑えられる ◦ 月数万円 • 社内ナレッジを貯められる ◦ 社内でのURL共有も可能 • 自社業務に特化したカスタマイズができる ◦ 業務特化な機能 ◦ 社内のデータベースとの連携 • 社員が生成AIを生産性向上に実際に活用し、 生成AIへの理解度を上げて、プロダクト活用に つなげるきっかけに
7. 7 Github Copilotの活用による生産性向上事例 • 社内のアンケートでコーディング業務が平均 40% 効率的になるという結果 ◦ 定型業務だけでなく、創造性にも寄与し たというアンケート結果も • １人当たり1ヶ月 $20 の Invest で、生産性 の向上により月に数十万円 の Return GitHub Copilotによるコードの自動補完
8. 8 Code interpreterやプラグインによる幅広い可能性 CSVファイルをアップロードすると自動で分析 プラグインで店舗一覧情報を CSV形式で抽出
9. 9 BigQuery・LLM を活用した検索意図分析の事例 「症状検索エンジン ユビー」のユーザーの検索意図分析 • 各ページに流入したユーザーの目的分析 • 各ページに流入したキーワードを分類することで、強化すべきキーワードを発見 Search Console のデー タを BQ にエクスポート BQ・LLM を 活用して、 キーワードの 分類 BQ のグラフ 機能で分析 BQ のスケ ジュール機 能で自動化 生成AIは、OpenAI一強ではなく、それぞれの生成AIの強みがあるので、適材適所で活用していく
10. 10 Search ConsoleのデータをBQにエクスポート Webアプリに流入した時のユーザーの検索クエリを BigQueryにエクスポート
11. 11 LLM を活用したユーザーの検索目的分類 SELECT * FROM ML.GENERATE_TEXT( MODEL `llm-sandbox-dummy.llms.llm_v1`, ( SELECT keyword, CONCAT( 'textに対応する intentを以下のカテゴリの中からふさわしいものを選んでください。 text:', keyword, """intent: 「病気について」「症状について」「診断について」「検査について」「治療について」「薬につい て」「健康診断について」「手続きや支援について」「受診について」「病院について」「その他」 # 出力形式 {"text": string , "intent": string} # 出力例 {"text": "カレーライス ", "intent": "その他"} {"text": "帯状疱疹", "intent": "病気について "} """) AS prompt FROM `llm-sandbox-dummy.llms.search_keywords` ), STRUCT( 0.8 AS temperature, 1024 AS max_output_tokens, 0.95 AS top_p, 40 AS top_k, TRUE AS flatten_json_output ) ) SQLを書くだけで、 ユーザーの検索クエリを 11 種類の目的に分類
12. 12 LLM を活用したユーザーの目的分類 • データがすでにBQにあるなら、SQLを書くだけで分析が可能 • 各ページにどのようなユーザー意図による来訪が多いのかを簡単に分析可能 • 出力が JSON 形式でなかったり、コンテンツフィルターによって、一定数が NULL に • BQ のプレビュー機能による可視化（ SQLを書いて実行すると、その場で結果をグラフ表示してくれる） キーワード 結果 目的 肺炎について 知りたい {"text": "肺炎について知りたい", "intent": "病気について"} 病気につい て 目黒区の病院 {"text": "目黒区の病院", "intent": "病院について"} 病院につい て
13. 13 処理のスケジュール化 毎回手動で実行するのは手間であるため、 定期実行してテーブルにエクスポート BQのスケジュールクエリを活用
14. 14 BQ・LLM による大幅な効率化 予測 (バッチ処理の組み込み ) モデル学習 学習データ整備 予測 (バッチ処理の組 み込み) プロンプト エンジニアリ ング 従来の機械学習 LLM API 活用 BQ・LLM 活用 予測 (BQ) プロンプト エンジニアリ ング 工数
15. 15 LLMのプロダクト活用方針 業界/業務に特化したデータによるUX最適化やファインチューニングなど (RAG含む)により、 適応する領域に特化したモデルを作れるかどうかがパフォーマンスの違いを生む 特化データによるファインチューニングなど（RAG含む）と フィードバックループによる改善 誰でも、簡単に、必要情報を入力可能な UXを用意 業界特化型モデルによる最大のパフォーマンス ハルシネーション課題への対応 自由入力のハードルへの対応
16. 16 Head of AI Research 風間 正弘 Head of Medical Research 守屋 祐一郎 セルソースにて医学系研究、リアルワー ルドデータ活用等に携わった後、2021年 にUbie入社。 聖路加国際大学 公衆衛生大学院にてデジ タルヘルス等を研究 Head of Policy Research 三浦 萌 イノベーション促進に向けて： “Ubie Lab” 創設 リクルートとIndeedにてデータサイエンティ ストとして活躍後、2020年にUbie入社。 Forbes Japan 30 Under 30受賞(2018年) 推薦システム実践入門(オライリー)執筆 東京都立大学非常勤講師 総務省にて情報通信政策に10年以上 携わった後、2021年にUbie入社。 日本デジタルヘルスアライアンスWG4 及び生成AIに関するSWGリーダー 研究を開発・ビジネスと並ぶ柱として注力していくため、独立した研究組織として”Ubie Lab”を創設。 LLMを含むAI研究を一層推進するほか、医療分野や政策に関わる研究も行ってまいります。