赤煉瓦倉庫勉強会｢Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記｣

2025/07/03に開催された「第1回 Youは何しにDatabricksへ！？ ── 赤煉瓦倉庫勉強会 第4回」に、IVRyの山本が登壇しました。

■リンク集
・IVRyコーポレートサイト：https://ivry.jp/company/
・IVRy採用ページ：https://ivry-jp.notion.site/
・IVRyイベント一覧：https://ivry.connpass.com/event/
・IVRy Tech Xアカウント：https://x.com/IVRy_tech

Transcript

1. 株式会社IVRy(アイブリー) Databricksを選んだ理由と、 絶賛真っ只中のデータ基盤移⾏体験記 2025.07.03 ⼭本雄⼠(ジョージ)
2. ⾃⼰紹介 - ⼭本雄⼠(ジョージ) 2011-2018 年: LINE、ブレインパッド etc. 営業、事業企画、マーケター 2019 年: 楽天（動画配信サービス） データエンジニアリングマネージャー 2021 年: ANDPAD（建設系バーティカル SaaS） 経営企画のデータエンジニア 2025 年: IVRy（対話型⾳声AI SaaS） データエンジニアとしてデータ基盤移⾏を担当
3. お話しすること 1. データ基盤の課題と移⾏理由 2. Snowflakeとの⽐較検討での決め⼿ 3. 移⾏作業でハマったポイントとAIツール活⽤ 4. Databricksに期待すること
4. 会社‧サービス紹介
5. IVRyの作る未来 私たちは、IVR（電話⾃動応答）を起点として、AI対話システムを開発‧運営しています。 ⽬指すのは、AIやソフトウェアを活⽤し業務を効率化することで、⼈が介在する仕事の価値を最⼤化し、楽しく‧豊かに事業活動を ⾏うことができる世界の実現です。 まずは「アイブリー」という電話にAIを組み込んだプロダクトを中⼼にサービス展開をすすめることで、⽇本全国‧業種や規模問わ ず、働く全ての⼈の⽣産性を劇的に向上させていきます。 そして未来では、企業や個⼈があらゆる場所や業務でAIを活⽤できるよう、ハードウェア/ソフトウェアの両⾯で価値を提供してい きたいと考えています。 私たちは“Work is Fun”を掲げ、それを実現しながら事業も組織も⾮連続に成⻑し、世界で使われ、世界から期待されるサービスを 創り続けることを⽬指しています。
6. IVRyのVision/Mission
7. 対話型⾳声 AI SaaS「アイブリー」とは 最短5分‧⽉2,980円から電話業務を⾃動化‧効率化することができるサービスで、 ボタンプッシュによる⾃動応答/SMS返信/電話転送に加えて、AI⾳声対話など様々な機能が利⽤可能 基本料⾦2,980円（税抜）。別途、電話番号維持費および従量料⾦が発⽣いたします。
8. アイブリーの全体像 8 新規サービスとして、業界最安レ ベルでスマホレンタルパック（端 末‧回線）の提供を開始   24時間 アイブリーが応対 アイブリー
9. 今⽇お話しする内容
10. お話しする内容 データ基盤の課題と移⾏理由 ‧データ増加に伴う転送コスト増と⾮構造データ対応 ‧データと権限が散在 Snowflakeとの⽐較検討 での決め⼿ ‧ETLワークフローからBIまで統合 ‧LLM機能が充実 移⾏作業でハマったポイント とAIツール活⽤ ‧ETLプログラムの開発をCursorフル活⽤ ‧ライブラリ間の不整合と認証(dltとDLTとSpark) Databricksに期待すること ‧Databricks Appsでデータ便利ツール促進 ‧LLMOpsへの挑戦
11. データ基盤の課題と移⾏理由
12. Before(2025/6) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery ETL Reverse ETL BI
13. ①データ増による転送コスト増と⾮構造データ対応 1. 通話データが昨年対⽐で2倍以上に増え続けている 2. AWS→GCPのクラウドまたぎの転送コストが⾼い 3. ⾳声の⾮構造データをニアリアルタイムで扱いたい AWS内で完結させ、 OSS(dlthubとpython)で⾃前でETLプログラムを作成し ワークフローで定期実⾏し解決へ
14. ②データと権限が散在 1. BigQueryのプロジェクトやデータセットが散在 2. S3のデータやTroccoの権限など複数プラットフォームをまたぐ 3. 直接関係しないシステムのGCP権限も多数 データも権限も⼀箇所で管理し解決へ データガバナンスの強化
15. Snowflakeとの⽐較検討 での決め⼿
16. 選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか
17. Snowflakeとのざっくり⽐較(2025年3⽉時点の評価) Databricks Snowflake データ保持 実体データは⾃社S3ストレージ に保持、カタログ⽣成のみ。ス トレージ料⾦なし 実データをSnowflake⾃ ⾝に保持。ストレージ料 ⾦あり 得意分野 PySparkや機械学習/LLM、 Notebookワークフロー SQL完結型、⾮エンジニア 向け権限管理 エコシステム dbtなどの主要ツールのネイティ ブ対応あり その他の他社ツールとの連 携が⽐較的豊富 LLM基盤 MLflow、Deltalakeなどのオープ ンソースモデル、統合AI環境 限定的なLLM機能、サード パーティ依存
18. Snowflakeと詳細⽐較(2025年3⽉時点の評価) Databricks Snowflake 評価 データ取込 ワークフロー機能あり 外部ツール必要 Databricks クエリ実⾏ サーバーレス稼働で、クエリ⽀援 機能あり 加えて、オリジナルSQL関数 も⽤意されており使いやすい Snowflake 権限管理 ユーザーグループ、ワークスペー ス、カタログによる管理 ロールベースでオブジェクト 間連携、SQLで完結 - BI Redashダッシュボード機能あり ダッシュボード機能は限定的 Databricks 開発者体験 dbt連携、terraform等コード管 理可能 dbt連携、terraform等コード 管理可能 - LLM機能 MLflow、ベクトル検索、AI Gatewaysによる統合環境 限定的な機能 Databricks
19. 選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか 権限管理が容易で、 ストレージが完全に分離され、 ワークフローからBIまで含み、 LLMの検証からデプロイまでできる Databricksに決定！
20. After(2025/7) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery Bronze Silver Gold (external) Gold (internal) dbt ETL Reverse ETL
21. 移⾏作業でハマったポイントとAIツール活⽤
22. ETLプログラムの開発でCursorフル活⽤ • 導⼊開始直後に、全エンジニアでのCursor利⽤が決定！ • Sparkでの開発、Salesforce等へのリバースETLを全てAIが作成！ • Claud Codeで既存のアーキテクチャーを解釈してバグ修正が⼀瞬！
23. 追加開発と認証問題へのAI活⽤ 1. 数億規模のデータをBigQueryに急遽いれてくれ要望  →2⽇でSparkで開発。Claude Codeなかったら。。 2. dlthubのdltが、DatabricksのDLTと競合してハマる  →クラシックのクラスターの場合は初期化スクリプト必要 3. SparkでGoogleCloudの権限が設定できずハマる  →private keyをsecretに登録するときの改⾏を修正 アーキテクチャとツールを跨ぐ認証とセキュリティは⾃⾝で。 それ以外はAIに任せて検証！
24. Databricksに期待すること
25. Databricksで今後やること • Databricks Appのリリース！ - データオペレーションアプリを作成 (例)セールスからのSalesforce申請と設定変更をOpsチームで⾃動化 • LLMOpsの本格活⽤！ - マルチLLMエージェントをMLflowで評価しデプロイ (例)社内通話ログから課題を検索抽出/サマリし、   セールスのネクストアクションを⾃動設定するエージェント   プロンプトをLakebaseで保持し評価改善サイクルを回す
26. We are Hiring! カジュアル⾯談 https://herp.careers/v1/ivry/wmZiOSAmZ4SQ キャリア登録 https://ivry-jp.notion.site/209eea80adae80048 3a9d6b239281f1b
27. データ関連イベント https://ivry.connpass.com/event/357440/
28. ご清聴ありがとうございました！
29. 最⾼の技術を、 すべての⼈と企業に届ける