赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
by
株式会社IVRy(社員登壇資料)
×
Copy
Open
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Slide 1
Slide 1 text
株式会社IVRy(アイブリー) Databricksを選んだ理由と、 絶賛真っ只中のデータ基盤移⾏体験記 2025.07.03 ⼭本雄⼠(ジョージ)
Slide 2
Slide 2 text
⾃⼰紹介 - ⼭本雄⼠(ジョージ) 2011-2018 年: LINE、ブレインパッド etc. 営業、事業企画、マーケター 2019 年: 楽天(動画配信サービス) データエンジニアリングマネージャー 2021 年: ANDPAD(建設系バーティカル SaaS) 経営企画のデータエンジニア 2025 年: IVRy(対話型⾳声AI SaaS) データエンジニアとしてデータ基盤移⾏を担当
Slide 3
Slide 3 text
お話しすること 1. データ基盤の課題と移⾏理由 2. Snowflakeとの⽐較検討での決め⼿ 3. 移⾏作業でハマったポイントとAIツール活⽤ 4. Databricksに期待すること
Slide 4
Slide 4 text
会社‧サービス紹介
Slide 5
Slide 5 text
IVRyの作る未来 私たちは、IVR(電話⾃動応答)を起点として、AI対話システムを開発‧運営しています。 ⽬指すのは、AIやソフトウェアを活⽤し業務を効率化することで、⼈が介在する仕事の価値を最⼤化し、楽しく‧豊かに事業活動を ⾏うことができる世界の実現です。 まずは「アイブリー」という電話にAIを組み込んだプロダクトを中⼼にサービス展開をすすめることで、⽇本全国‧業種や規模問わ ず、働く全ての⼈の⽣産性を劇的に向上させていきます。 そして未来では、企業や個⼈があらゆる場所や業務でAIを活⽤できるよう、ハードウェア/ソフトウェアの両⾯で価値を提供してい きたいと考えています。 私たちは“Work is Fun”を掲げ、それを実現しながら事業も組織も⾮連続に成⻑し、世界で使われ、世界から期待されるサービスを 創り続けることを⽬指しています。
Slide 6
Slide 6 text
IVRyのVision/Mission
Slide 7
Slide 7 text
対話型⾳声 AI SaaS「アイブリー」とは 最短5分‧⽉2,980円から電話業務を⾃動化‧効率化することができるサービスで、 ボタンプッシュによる⾃動応答/SMS返信/電話転送に加えて、AI⾳声対話など様々な機能が利⽤可能 基本料⾦2,980円(税抜)。別途、電話番号維持費および従量料⾦が発⽣いたします。
Slide 8
Slide 8 text
アイブリーの全体像 8 新規サービスとして、業界最安レ ベルでスマホレンタルパック(端 末‧回線)の提供を開始 24時間 アイブリーが応対 アイブリー
Slide 9
Slide 9 text
今⽇お話しする内容
Slide 10
Slide 10 text
お話しする内容 データ基盤の課題と移⾏理由 ‧データ増加に伴う転送コスト増と⾮構造データ対応 ‧データと権限が散在 Snowflakeとの⽐較検討 での決め⼿ ‧ETLワークフローからBIまで統合 ‧LLM機能が充実 移⾏作業でハマったポイント とAIツール活⽤ ‧ETLプログラムの開発をCursorフル活⽤ ‧ライブラリ間の不整合と認証(dltとDLTとSpark) Databricksに期待すること ‧Databricks Appsでデータ便利ツール促進 ‧LLMOpsへの挑戦
Slide 11
Slide 11 text
データ基盤の課題と移⾏理由
Slide 12
Slide 12 text
Before(2025/6) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery ETL Reverse ETL BI
Slide 13
Slide 13 text
①データ増による転送コスト増と⾮構造データ対応 1. 通話データが昨年対⽐で2倍以上に増え続けている 2. AWS→GCPのクラウドまたぎの転送コストが⾼い 3. ⾳声の⾮構造データをニアリアルタイムで扱いたい AWS内で完結させ、 OSS(dlthubとpython)で⾃前でETLプログラムを作成し ワークフローで定期実⾏し解決へ
Slide 14
Slide 14 text
②データと権限が散在 1. BigQueryのプロジェクトやデータセットが散在 2. S3のデータやTroccoの権限など複数プラットフォームをまたぐ 3. 直接関係しないシステムのGCP権限も多数 データも権限も⼀箇所で管理し解決へ データガバナンスの強化
Slide 15
Slide 15 text
Snowflakeとの⽐較検討 での決め⼿
Slide 16
Slide 16 text
選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか
Slide 17
Slide 17 text
Snowflakeとのざっくり⽐較(2025年3⽉時点の評価) Databricks Snowflake データ保持 実体データは⾃社S3ストレージ に保持、カタログ⽣成のみ。ス トレージ料⾦なし 実データをSnowflake⾃ ⾝に保持。ストレージ料 ⾦あり 得意分野 PySparkや機械学習/LLM、 Notebookワークフロー SQL完結型、⾮エンジニア 向け権限管理 エコシステム dbtなどの主要ツールのネイティ ブ対応あり その他の他社ツールとの連 携が⽐較的豊富 LLM基盤 MLflow、Deltalakeなどのオープ ンソースモデル、統合AI環境 限定的なLLM機能、サード パーティ依存
Slide 18
Slide 18 text
Snowflakeと詳細⽐較(2025年3⽉時点の評価) Databricks Snowflake 評価 データ取込 ワークフロー機能あり 外部ツール必要 Databricks クエリ実⾏ サーバーレス稼働で、クエリ⽀援 機能あり 加えて、オリジナルSQL関数 も⽤意されており使いやすい Snowflake 権限管理 ユーザーグループ、ワークスペー ス、カタログによる管理 ロールベースでオブジェクト 間連携、SQLで完結 - BI Redashダッシュボード機能あり ダッシュボード機能は限定的 Databricks 開発者体験 dbt連携、terraform等コード管 理可能 dbt連携、terraform等コード 管理可能 - LLM機能 MLflow、ベクトル検索、AI Gatewaysによる統合環境 限定的な機能 Databricks
Slide 19
Slide 19 text
選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか 権限管理が容易で、 ストレージが完全に分離され、 ワークフローからBIまで含み、 LLMの検証からデプロイまでできる Databricksに決定!
Slide 20
Slide 20 text
After(2025/7) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery Bronze Silver Gold (external) Gold (internal) dbt ETL Reverse ETL
Slide 21
Slide 21 text
移⾏作業でハマったポイントとAIツール活⽤
Slide 22
Slide 22 text
ETLプログラムの開発でCursorフル活⽤ ● 導⼊開始直後に、全エンジニアでのCursor利⽤が決定! ● Sparkでの開発、Salesforce等へのリバースETLを全てAIが作成! ● Claud Codeで既存のアーキテクチャーを解釈してバグ修正が⼀瞬!
Slide 23
Slide 23 text
追加開発と認証問題へのAI活⽤ 1. 数億規模のデータをBigQueryに急遽いれてくれ要望 →2⽇でSparkで開発。Claude Codeなかったら。。 2. dlthubのdltが、DatabricksのDLTと競合してハマる →クラシックのクラスターの場合は初期化スクリプト必要 3. SparkでGoogleCloudの権限が設定できずハマる →private keyをsecretに登録するときの改⾏を修正 アーキテクチャとツールを跨ぐ認証とセキュリティは⾃⾝で。 それ以外はAIに任せて検証!
Slide 24
Slide 24 text
Databricksに期待すること
Slide 25
Slide 25 text
Databricksで今後やること ● Databricks Appのリリース! - データオペレーションアプリを作成 (例)セールスからのSalesforce申請と設定変更をOpsチームで⾃動化 ● LLMOpsの本格活⽤! - マルチLLMエージェントをMLflowで評価しデプロイ (例)社内通話ログから課題を検索抽出/サマリし、 セールスのネクストアクションを⾃動設定するエージェント プロンプトをLakebaseで保持し評価改善サイクルを回す
Slide 26
Slide 26 text
We are Hiring! カジュアル⾯談 https://herp.careers/v1/ivry/wmZiOSAmZ4SQ キャリア登録 https://ivry-jp.notion.site/209eea80adae80048 3a9d6b239281f1b
Slide 27
Slide 27 text
データ関連イベント https://ivry.connpass.com/event/357440/
Slide 28
Slide 28 text
ご清聴ありがとうございました!
Slide 29
Slide 29 text
最⾼の技術を、 すべての⼈と企業に届ける