Slide 1

Slide 1 text

株式会社IVRy(アイブリー) Databricksを選んだ理由と、 絶賛真っ只中のデータ基盤移⾏体験記 2025.07.03 ⼭本雄⼠(ジョージ)

Slide 2

Slide 2 text

⾃⼰紹介 - ⼭本雄⼠(ジョージ) 2011-2018 年: LINE、ブレインパッド etc. 営業、事業企画、マーケター 2019 年: 楽天(動画配信サービス) データエンジニアリングマネージャー 2021 年: ANDPAD(建設系バーティカル SaaS) 経営企画のデータエンジニア 2025 年: IVRy(対話型⾳声AI SaaS) データエンジニアとしてデータ基盤移⾏を担当

Slide 3

Slide 3 text

お話しすること 1. データ基盤の課題と移⾏理由 2. Snowflakeとの⽐較検討での決め⼿ 3. 移⾏作業でハマったポイントとAIツール活⽤ 4. Databricksに期待すること

Slide 4

Slide 4 text

会社‧サービス紹介

Slide 5

Slide 5 text

IVRyの作る未来 私たちは、IVR(電話⾃動応答)を起点として、AI対話システムを開発‧運営しています。 ⽬指すのは、AIやソフトウェアを活⽤し業務を効率化することで、⼈が介在する仕事の価値を最⼤化し、楽しく‧豊かに事業活動を ⾏うことができる世界の実現です。 まずは「アイブリー」という電話にAIを組み込んだプロダクトを中⼼にサービス展開をすすめることで、⽇本全国‧業種や規模問わ ず、働く全ての⼈の⽣産性を劇的に向上させていきます。 そして未来では、企業や個⼈があらゆる場所や業務でAIを活⽤できるよう、ハードウェア/ソフトウェアの両⾯で価値を提供してい きたいと考えています。 私たちは“Work is Fun”を掲げ、それを実現しながら事業も組織も⾮連続に成⻑し、世界で使われ、世界から期待されるサービスを 創り続けることを⽬指しています。

Slide 6

Slide 6 text

IVRyのVision/Mission

Slide 7

Slide 7 text

対話型⾳声 AI SaaS「アイブリー」とは 最短5分‧⽉2,980円から電話業務を⾃動化‧効率化することができるサービスで、 ボタンプッシュによる⾃動応答/SMS返信/電話転送に加えて、AI⾳声対話など様々な機能が利⽤可能 基本料⾦2,980円(税抜)。別途、電話番号維持費および従量料⾦が発⽣いたします。

Slide 8

Slide 8 text

アイブリーの全体像 8 新規サービスとして、業界最安レ ベルでスマホレンタルパック(端 末‧回線)の提供を開始   24時間 アイブリーが応対 アイブリー

Slide 9

Slide 9 text

今⽇お話しする内容

Slide 10

Slide 10 text

お話しする内容 データ基盤の課題と移⾏理由 ‧データ増加に伴う転送コスト増と⾮構造データ対応 ‧データと権限が散在 Snowflakeとの⽐較検討 での決め⼿ ‧ETLワークフローからBIまで統合 ‧LLM機能が充実 移⾏作業でハマったポイント とAIツール活⽤ ‧ETLプログラムの開発をCursorフル活⽤ ‧ライブラリ間の不整合と認証(dltとDLTとSpark) Databricksに期待すること ‧Databricks Appsでデータ便利ツール促進 ‧LLMOpsへの挑戦

Slide 11

Slide 11 text

データ基盤の課題と移⾏理由

Slide 12

Slide 12 text

Before(2025/6) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery ETL Reverse ETL BI

Slide 13

Slide 13 text

①データ増による転送コスト増と⾮構造データ対応 1. 通話データが昨年対⽐で2倍以上に増え続けている 2. AWS→GCPのクラウドまたぎの転送コストが⾼い 3. ⾳声の⾮構造データをニアリアルタイムで扱いたい AWS内で完結させ、 OSS(dlthubとpython)で⾃前でETLプログラムを作成し ワークフローで定期実⾏し解決へ

Slide 14

Slide 14 text

②データと権限が散在 1. BigQueryのプロジェクトやデータセットが散在 2. S3のデータやTroccoの権限など複数プラットフォームをまたぐ 3. 直接関係しないシステムのGCP権限も多数 データも権限も⼀箇所で管理し解決へ データガバナンスの強化

Slide 15

Slide 15 text

Snowflakeとの⽐較検討 での決め⼿

Slide 16

Slide 16 text

選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか

Slide 17

Slide 17 text

Snowflakeとのざっくり⽐較(2025年3⽉時点の評価) Databricks Snowflake データ保持 実体データは⾃社S3ストレージ に保持、カタログ⽣成のみ。ス トレージ料⾦なし 実データをSnowflake⾃ ⾝に保持。ストレージ料 ⾦あり 得意分野 PySparkや機械学習/LLM、 Notebookワークフロー SQL完結型、⾮エンジニア 向け権限管理 エコシステム dbtなどの主要ツールのネイティ ブ対応あり その他の他社ツールとの連 携が⽐較的豊富 LLM基盤 MLflow、Deltalakeなどのオープ ンソースモデル、統合AI環境 限定的なLLM機能、サード パーティ依存

Slide 18

Slide 18 text

Snowflakeと詳細⽐較(2025年3⽉時点の評価) Databricks Snowflake 評価 データ取込 ワークフロー機能あり 外部ツール必要 Databricks クエリ実⾏ サーバーレス稼働で、クエリ⽀援 機能あり 加えて、オリジナルSQL関数 も⽤意されており使いやすい Snowflake 権限管理 ユーザーグループ、ワークスペー ス、カタログによる管理 ロールベースでオブジェクト 間連携、SQLで完結 - BI Redashダッシュボード機能あり ダッシュボード機能は限定的 Databricks 開発者体験 dbt連携、terraform等コード管 理可能 dbt連携、terraform等コード 管理可能 - LLM機能 MLflow、ベクトル検索、AI Gatewaysによる統合環境 限定的な機能 Databricks

Slide 19

Slide 19 text

選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか 権限管理が容易で、 ストレージが完全に分離され、 ワークフローからBIまで含み、 LLMの検証からデプロイまでできる Databricksに決定!

Slide 20

Slide 20 text

After(2025/7) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery Bronze Silver Gold (external) Gold (internal) dbt ETL Reverse ETL

Slide 21

Slide 21 text

移⾏作業でハマったポイントとAIツール活⽤

Slide 22

Slide 22 text

ETLプログラムの開発でCursorフル活⽤ ● 導⼊開始直後に、全エンジニアでのCursor利⽤が決定! ● Sparkでの開発、Salesforce等へのリバースETLを全てAIが作成! ● Claud Codeで既存のアーキテクチャーを解釈してバグ修正が⼀瞬!

Slide 23

Slide 23 text

追加開発と認証問題へのAI活⽤ 1. 数億規模のデータをBigQueryに急遽いれてくれ要望  →2⽇でSparkで開発。Claude Codeなかったら。。 2. dlthubのdltが、DatabricksのDLTと競合してハマる  →クラシックのクラスターの場合は初期化スクリプト必要 3. SparkでGoogleCloudの権限が設定できずハマる  →private keyをsecretに登録するときの改⾏を修正 アーキテクチャとツールを跨ぐ認証とセキュリティは⾃⾝で。 それ以外はAIに任せて検証!

Slide 24

Slide 24 text

Databricksに期待すること

Slide 25

Slide 25 text

Databricksで今後やること ● Databricks Appのリリース! - データオペレーションアプリを作成 (例)セールスからのSalesforce申請と設定変更をOpsチームで⾃動化 ● LLMOpsの本格活⽤! - マルチLLMエージェントをMLflowで評価しデプロイ (例)社内通話ログから課題を検索抽出/サマリし、   セールスのネクストアクションを⾃動設定するエージェント   プロンプトをLakebaseで保持し評価改善サイクルを回す

Slide 26

Slide 26 text

We are Hiring! カジュアル⾯談 https://herp.careers/v1/ivry/wmZiOSAmZ4SQ キャリア登録 https://ivry-jp.notion.site/209eea80adae80048 3a9d6b239281f1b

Slide 27

Slide 27 text

データ関連イベント https://ivry.connpass.com/event/357440/

Slide 28

Slide 28 text

ご清聴ありがとうございました!

Slide 29

Slide 29 text

最⾼の技術を、 すべての⼈と企業に届ける