[2025-09-30] Databricks Genie を利用した分析基盤とデータモデリングの IVRy の現在地

「AI時代の意思決定を支える 各社のデータ基盤Lunch Talk」( https://findy.connpass.com/event/368980/ ) での発表資料です。

Transcript

1. Databricks Genie を利⽤した分析基盤と データモデリングの IVRy の現在地 AI時代の意思決定を⽀える 各社のデータ基盤Lunch Talk #data_findy 株式会社 IVRy アナリティクスエンジニア 和⽥悠佑 2025-09-30
2. 2013 年: ヤフー（カーナビ、オークション） Android エンジニア、データサイエンティスト、etc, ... 2019 年: メルカリ（フリマ） 検索機能周りのデータアナリスト、エンジニア 2022 年: estie（不動産領域バーティカル SaaS） データ基盤エンジニアとして Snowflake や dbt の導⼊ 2024 年: IVRy（対話型⾳声AI SaaS） アナリティクスエンジニアとして、 データ分析や各種データモデルの整備 2 ⾃⼰紹介 和⽥ 悠佑 Analytics Engineer
3. IVRとAIであらゆる電話対応を効率化 「アイブリー」 3 プロダクト
4. 累計5,000万着電に⾃動応答しています 4
5. 5 今⽇話すこと IVRy のデータ分析基盤での AI 機能の活⽤の現在地を紹介 現時点での AI 活⽤に対する情報の共有
6. 6 もくじ 1. データ基盤アーキテクチャ 2. AI/BI Genie 3. metric view 4. 現在地まとめ 5. 課題 6. おわりに
7. 7 データ基盤アーキテクチャ
8. 8 7 ⽉から Databricks に本格移⾏ 移⾏の背景 BigQuery への転送、ストレージコストの削減 （プロダクトは AWS） エンジニアリングの⾃由度が⾼そうと判断 （データ‧機械学習）
9. データ基盤のアーキテクチャ ( https://findy-tools.io/companies/ivry/90/76 ) 9
10. 10 データを社内で使うところ中⼼に紹介
11. 11 分析データパイプライン Lake 層 (raw data) source 層 (staging 層) warehouse 層 mart 層 intermediate 層
12. 12 AI/BI Genie
13. 13 集計‧分析に対する課題 データサークルへの依頼がボトルネック 各々が書いた集計クエリの品質がまちまち
14. 14 Databricks に対する期待 データエンジニア観点ではコストダウン（当初の⽬的） 分析観点では⾃然⾔語でのデータ集計‧分析
15. 15 AI/BI Genie 󰨄 データに対して⾃然⾔語で問い合わせできる Databricks 公式サイトより
16. データサークルに依頼するとリードタイムがかかる ビジネスメンバーが⾃分⾃⾝でやると、細かい定義に差がでうる 課題 Genie で解決できないだろうか？ 16 返答の品質が担保できれば ビジネスメンバーが⾃分で必要なデータを Genie を使って取得できる ⾃分で完結できる上に、データの定義もズレない 理想
17. 17 Genie 検証 raw data 側 MQL をカウントして SELECT COUNT_IF(is_mql) AS mql FROM salesforce.hoge inner join …… is_mql ってカラム初めて⾒たかも……
18. 18 Genie 検証 raw data 側 is_mql ってなんですか？ 昔使っていて、 今使ってないやつっぽい なるほどですね Salesforce Admin 様
19. 19 Genie 検証 raw data 側 - 結果 😢 任意の raw data に対して Genie でアプローチして 正確なデータを得るのは難しい Genie が悪いのではなく raw data が⼈間にとっても難しすぎる （メタデータが不⾜している）
20. 20 Genie 検証 ダッシュボード側 ダッシュボードに登録されたデータに対して質問可能
21. 21 内訳の可視化の切り替えはかなり正確
22. ダッシュボード⽤に整備されたデータに対しては Genie は正確に動作する 曖昧な問い合わせでもちゃんと解釈してくれる 「業種をサービス業に絞って」という指⽰も SQL 作成時は industry = 'サービス業（他に分類されないもの）' とデータの中⾝を考慮してくれる 22 Genie 検証 Dashboard 側 - 結果 👍
23. 23 IVRy の現在地 - Genie まずはダッシュボードと併⽤で Genie を使ってもらう⽅針に ダッシュボード内のデータの深堀りに活⽤ ダッシュボード作成⼯数削減効果も ただし、ダッシュボード内で表現できないデータは Genie でも回答不能であることが課題
24. 24 metric view
25. 25 metric view セマンティックレイヤーの役割の View Databricks ドキュメントより
26. 26 yml で定義（dbt 対応がまだ）
27. 27 ダッシュボードや Genie と相性が良い SELECT month, MEASURE(revenue) FROM sample_metric_view GROUP BY ALL SELECT client_id, MEASURE(revenue) FROM sample_metric_view GROUP BY ALL ⽉ごとに revenue を集計したい client 単位で revenue を集計したい
28. 28 様々な要求に耐えうる粒度のデータが必要 ダッシュボードを深堀りする⽤途で Genie を使う場合 ダッシュボードで表⽰するよりも細かい粒度で データを保持しておく必要がある
29. 今まで逃げていた アドホック集計で必要となるような粒度のデータも できるだけ事前に⽤意しておかないと AI 対応できない 29 AI 対応のためには逃げられない！ （⾃分でスプシで加⼯するから） 全項⽬のデータください （⼤変なんだよな……） ⼀旦、全体感を⾒るか、影響の⼤きいところ上位を⾒ましょう 依頼者
30. 30 AI 時代でも、事前のデータモデリングが⼤事 Fact Table Dimension Table staging 層 mart 層 warehouse 層 ダッシュボード with Genie metric view として実装 （セマンティックレイヤー） ここが⼤事！
31. 31 IVRy の現在地まとめ
32. 32 IVRy の現在地 セマンティックレイヤーを metric view として実現 1 ダッシュボードと Genie で metric view を参照 2 整備済みデータに対して Genie は有効に活⽤可能 3 様々な要求に耐えられるデータモデリングに奮闘中 4
33. 33 課題
34. 34 Genie をより⾃由度⾼く使いたい metric view をベースにした ダッシュボードと Genie の運⽤は metric view の中⾝にキャップされる Genie はもうちょっとポテンシャルがありそうなので raw data 側でも使えるようにしていきたい
35. 35 両側からデータ整備を推進中 Lake 層 mart 層 Analytics Engineer 側で ダッシュボードと Genie を想定した セマンティックレイヤーの description 等を整備 Data Infra 側で Claude Code を使って Ruby on Rails のコードから description を⾃動⽣成
36. 36 Genie の動作の調整 Genie に対する⾃然⾔語問い合わせの履歴は確認可能 評価もつけられるので、マイナス評価のものに対応していく
37. 37 継続な普及活動が必要 問い合わせ結果に対して 👍 / 👎 で評価できるとしても 利⽤者はできないことに当たると遠ざかってしまう データの出⼝側から進める場合は 継続的に利⽤してもらう働きかけも課題になる
38. CEO が分析での AI に協⼒的で⼼強い Analytics Engineer 側はできないことをできるように データモデルを改善して社内展開 38 トップダウン⽀援も
39. 39 おわりに
40. 40 まとめ データの出⼝側から AI 利⽤を推進 1 整備されたデータに対して AI での集計は有⽤ 2 AI 時代もデータモデリングが⼤事 3 より曖昧な問い合わせへの対応の実現が課題 4
41. 41 IVRy, AI で⾊々チャレンジしてます！ 9/1 〜 30 まで各種領域で AI 関連のブログ発信してます！ ぜひご覧ください！ https://note.com/ivry/n/na4f8be95a13b
42. 42 We are Hiring!