分析エージェント精度向上における データアナリストの役割

Transcript

1. 分析エージェント精度向上における データアナリストの役割 DMM.com 大浦将弥 2026/05/18
2. 自己紹介 • 大浦 将弥 • DMM.com データ戦略部 副部長 • 経歴 ◦ 2018 ~ 2021年：コンサルタント / エンジニア ◦ 2021年 ~ ：データアナリスト（現職） • 担当領域 ◦ マーケティング / UIUX改善 ◦ 施策立案 / 効果検証 （ABテスト / 因果推論） ◦ SQLエージェント / 分析エージェントの開発 ◦ メタデータ整備
4. DMMにおけるデータ組織 基盤開発 • データ基盤（BigQuery）の整備 • 分析エージェントの基盤構築 アナリスト • 効果検証 • 分析エージェント開発 • 経営層向けBI（Looker） • メタデータ整備 サイエンティスト • 機械学習アルゴリズム ◦ 検索 ◦ レコメンド データ収集・蓄積・加工のイン フラ構築と安定運用 高度な分析業務と データ活用支援 アルゴリズム開発によるサー ビスグロース支援
5. 分析エージェントのロードマップ • 現在はアナリストの高度な分析の一部手助けレベルあたりで試行錯誤 • 本発表は、主に分析難易度「低」「中」が対象
6. SQLエージェントの取り組み • グラフ描画や簡単な統計処理も可能 • さらに発展した分析エージェントを現在作成 中 • Slackから分析問い合わせ • Google ADKで開発 • サービスを限定して公開中
7. プロンプト例 Lv.1 サービス担当者：「Aセール時期の新規ユーザー数を出してください」 ↓ 分析エージェント「Aセール...？多分去年の話だな！」
8. Solution1 : プロンプトの聞き返し プロンプトの質と出力結果は比例する 担当者：「Aセールの新規ユーザー数を出して」 →(今年の)Aセールの値 AI：「10,000人です」 →(去年の)Aセールの値 • (上記は簡単な例だが)複雑なクエリではミスに気付 けない • 似たようなビジネス的な概念はミスしやすい • 過去に分析依頼を受けた際の会話内容から、確認すべき観点を作成 一部例
9. プロンプト例 Lv.2 サービス担当者：「2026年1月のAセール時期の 新規ユーザー数を出してください」 ↓ 分析エージェント「新規ユーザー数...？一般的にはこうだな！」
10. DMMの環境 • ビジネス形態の違いにより、同一用語の意味が異なることが頻発 • 分析エージェントは一般用語と社内独自用語の混同を起こす
11. Solution2 : メタデータ整備とガバナンス • Knowledge Catalog（Google Cloud）に一元管理 • データ組織の責務として用語集やテーブルのカラム定義を整備 ◦ 更新や新規作成の場合は、データ組織のレビューを必須とする業務フ ロー
12. プロンプト例 Lv.2 サービス担当者：「2026年1月のAセール時期の 新規ユーザー数を出してください」 ↓ 分析エージェント「メタデータにuser_idがあるので適当に使おう！」
13. Solution3 : ゴールデンクエリ • メタデータのみでは安定しないポイントは、典型的なクエ リを与える(OK/NG例の両方) • アナリスト観点で重要な分析クエリ資産を整備 クエリ整備 評価 現場投入 ログ確認 • 分析需要の把握 • ゴールデンクエリ • ミスしやすいクエリ • クエリミスの洗い出し • 精度測定 • ネガティブテスト メタデータ + 典型クエリの整備 name: user_id description: 社内管理のユーザーID name: cookie_id description: user_id欠損時に利用 OK select ifnull(user_id, cookie_id) NG select user_id 改善サイクル • クエリミスの洗い出しは、最初はアナリストが泥臭く確認する • 分析テーマとクエリをセットで与える
14. プロンプト例 Lv.3（真に知りたいこと） サービス担当者：「2026年1月のAセールが 要因で獲得した新規ユーザー数を出してください」 ↓ 分析エージェント「因果関係...？とりあえず前後比較だな！」
15. Solution4 : 過去の分析知見の整備 • 交絡や他要素の影響を除外して反実仮想を作り、なるべく精緻に推定するには色んな情報を与える必要がある • データアナリストが書いた分析レポートや過去の分析から得られた知見をドキュメント化し、分析エージェントに与える • 複数のアナリストで協議しても難しいタスクは、分析エージェントでの対応スコープから外す 因果推論は非常に難しいタスク 新規 ユーザー数 Aセール 季節性 DMM 他サービス
16. まとめ • メタデータはデータ組織がガバナンス(管理)を持つべき ◦ 自動化の仕組みだけでなく、業務フローの設計も大事 • 分析エージェント作成はエンジニアとアナリストが協力して進めるべき ◦ 過去にアナリストが体験した様々なミスは必ずAIも同じ道を辿るので、日々の業務での ミスも貴重なメタデータ ◦ 分析知見のような単なるメタデータからは読み取れない要素こそ重要 • AI一辺倒は今日時点では不可能 ◦ 自社の環境で可能なデータ分析レベルの限界を見極めて、人間と棲み分けるべき
17. 宣伝 • データアナリストや基盤開発エンジニアを募集しています データアナリスト 基盤開発