赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
by
株式会社IVRy(社員登壇資料)
×
Copy
Open
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
株式会社IVRy(アイブリー) Databricksを選んだ理由と、 絶賛真っ只中のデータ基盤移⾏体験記 2025.07.03 ⼭本雄⼠(ジョージ)
Slide 2
Slide 2 text
⾃⼰紹介 - ⼭本雄⼠(ジョージ) 2011-2018 年: LINE、ブレインパッド etc. 営業、事業企画、マーケター 2019 年: 楽天(動画配信サービス) データエンジニアリングマネージャー 2021 年: ANDPAD(建設系バーティカル SaaS) 経営企画のデータエンジニア 2025 年: IVRy(対話型⾳声AI SaaS) データエンジニアとしてデータ基盤移⾏を担当
Slide 3
Slide 3 text
お話しすること 1. データ基盤の課題と移⾏理由 2. Snowflakeとの⽐較検討での決め⼿ 3. 移⾏作業でハマったポイントとAIツール活⽤ 4. Databricksに期待すること
Slide 4
Slide 4 text
会社‧サービス紹介
Slide 5
Slide 5 text
IVRyの作る未来 私たちは、IVR(電話⾃動応答)を起点として、AI対話システムを開発‧運営しています。 ⽬指すのは、AIやソフトウェアを活⽤し業務を効率化することで、⼈が介在する仕事の価値を最⼤化し、楽しく‧豊かに事業活動を ⾏うことができる世界の実現です。 まずは「アイブリー」という電話にAIを組み込んだプロダクトを中⼼にサービス展開をすすめることで、⽇本全国‧業種や規模問わ ず、働く全ての⼈の⽣産性を劇的に向上させていきます。 そして未来では、企業や個⼈があらゆる場所や業務でAIを活⽤できるよう、ハードウェア/ソフトウェアの両⾯で価値を提供してい きたいと考えています。 私たちは“Work is Fun”を掲げ、それを実現しながら事業も組織も⾮連続に成⻑し、世界で使われ、世界から期待されるサービスを 創り続けることを⽬指しています。
Slide 6
Slide 6 text
IVRyのVision/Mission
Slide 7
Slide 7 text
対話型⾳声 AI SaaS「アイブリー」とは 最短5分‧⽉2,980円から電話業務を⾃動化‧効率化することができるサービスで、 ボタンプッシュによる⾃動応答/SMS返信/電話転送に加えて、AI⾳声対話など様々な機能が利⽤可能 基本料⾦2,980円(税抜)。別途、電話番号維持費および従量料⾦が発⽣いたします。
Slide 8
Slide 8 text
アイブリーの全体像 8 新規サービスとして、業界最安レ ベルでスマホレンタルパック(端 末‧回線)の提供を開始 24時間 アイブリーが応対 アイブリー
Slide 9
Slide 9 text
今⽇お話しする内容
Slide 10
Slide 10 text
お話しする内容 データ基盤の課題と移⾏理由 ‧データ増加に伴う転送コスト増と⾮構造データ対応 ‧データと権限が散在 Snowflakeとの⽐較検討 での決め⼿ ‧ETLワークフローからBIまで統合 ‧LLM機能が充実 移⾏作業でハマったポイント とAIツール活⽤ ‧ETLプログラムの開発をCursorフル活⽤ ‧ライブラリ間の不整合と認証(dltとDLTとSpark) Databricksに期待すること ‧Databricks Appsでデータ便利ツール促進 ‧LLMOpsへの挑戦
Slide 11
Slide 11 text
データ基盤の課題と移⾏理由
Slide 12
Slide 12 text
Before(2025/6) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery ETL Reverse ETL BI
Slide 13
Slide 13 text
①データ増による転送コスト増と⾮構造データ対応 1. 通話データが昨年対⽐で2倍以上に増え続けている 2. AWS→GCPのクラウドまたぎの転送コストが⾼い 3. ⾳声の⾮構造データをニアリアルタイムで扱いたい AWS内で完結させ、 OSS(dlthubとpython)で⾃前でETLプログラムを作成し ワークフローで定期実⾏し解決へ
Slide 14
Slide 14 text
②データと権限が散在 1. BigQueryのプロジェクトやデータセットが散在 2. S3のデータやTroccoの権限など複数プラットフォームをまたぐ 3. 直接関係しないシステムのGCP権限も多数 データも権限も⼀箇所で管理し解決へ データガバナンスの強化
Slide 15
Slide 15 text
Snowflakeとの⽐較検討 での決め⼿
Slide 16
Slide 16 text
選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか
Slide 17
Slide 17 text
Snowflakeとのざっくり⽐較(2025年3⽉時点の評価) Databricks Snowflake データ保持 実体データは⾃社S3ストレージ に保持、カタログ⽣成のみ。ス トレージ料⾦なし 実データをSnowflake⾃ ⾝に保持。ストレージ料 ⾦あり 得意分野 PySparkや機械学習/LLM、 Notebookワークフロー SQL完結型、⾮エンジニア 向け権限管理 エコシステム dbtなどの主要ツールのネイティ ブ対応あり その他の他社ツールとの連 携が⽐較的豊富 LLM基盤 MLflow、Deltalakeなどのオープ ンソースモデル、統合AI環境 限定的なLLM機能、サード パーティ依存
Slide 18
Slide 18 text
Snowflakeと詳細⽐較(2025年3⽉時点の評価) Databricks Snowflake 評価 データ取込 ワークフロー機能あり 外部ツール必要 Databricks クエリ実⾏ サーバーレス稼働で、クエリ⽀援 機能あり 加えて、オリジナルSQL関数 も⽤意されており使いやすい Snowflake 権限管理 ユーザーグループ、ワークスペー ス、カタログによる管理 ロールベースでオブジェクト 間連携、SQLで完結 - BI Redashダッシュボード機能あり ダッシュボード機能は限定的 Databricks 開発者体験 dbt連携、terraform等コード管 理可能 dbt連携、terraform等コード 管理可能 - LLM機能 MLflow、ベクトル検索、AI Gatewaysによる統合環境 限定的な機能 Databricks
Slide 19
Slide 19 text
選定ポイント 1. データと権限が⼀元で管理しやすいか 2. AWS内で完結したシステムで、S3データを中⼼に据えられるか 3. ETLプログラムの実⾏やBIの運⽤がしやすいか 4. LLMソリューションの開発や社内外展開がしやすいか 権限管理が容易で、 ストレージが完全に分離され、 ワークフローからBIまで含み、 LLMの検証からデプロイまでできる Databricksに決定!
Slide 20
Slide 20 text
After(2025/7) Aurora S3 DynamoDB dbt Aurora BigQuery BigQuery Bronze Silver Gold (external) Gold (internal) dbt ETL Reverse ETL
Slide 21
Slide 21 text
移⾏作業でハマったポイントとAIツール活⽤
Slide 22
Slide 22 text
ETLプログラムの開発でCursorフル活⽤ ● 導⼊開始直後に、全エンジニアでのCursor利⽤が決定! ● Sparkでの開発、Salesforce等へのリバースETLを全てAIが作成! ● Claud Codeで既存のアーキテクチャーを解釈してバグ修正が⼀瞬!
Slide 23
Slide 23 text
追加開発と認証問題へのAI活⽤ 1. 数億規模のデータをBigQueryに急遽いれてくれ要望 →2⽇でSparkで開発。Claude Codeなかったら。。 2. dlthubのdltが、DatabricksのDLTと競合してハマる →クラシックのクラスターの場合は初期化スクリプト必要 3. SparkでGoogleCloudの権限が設定できずハマる →private keyをsecretに登録するときの改⾏を修正 アーキテクチャとツールを跨ぐ認証とセキュリティは⾃⾝で。 それ以外はAIに任せて検証!
Slide 24
Slide 24 text
Databricksに期待すること
Slide 25
Slide 25 text
Databricksで今後やること ● Databricks Appのリリース! - データオペレーションアプリを作成 (例)セールスからのSalesforce申請と設定変更をOpsチームで⾃動化 ● LLMOpsの本格活⽤! - マルチLLMエージェントをMLflowで評価しデプロイ (例)社内通話ログから課題を検索抽出/サマリし、 セールスのネクストアクションを⾃動設定するエージェント プロンプトをLakebaseで保持し評価改善サイクルを回す
Slide 26
Slide 26 text
We are Hiring! カジュアル⾯談 https://herp.careers/v1/ivry/wmZiOSAmZ4SQ キャリア登録 https://ivry-jp.notion.site/209eea80adae80048 3a9d6b239281f1b
Slide 27
Slide 27 text
データ関連イベント https://ivry.connpass.com/event/357440/
Slide 28
Slide 28 text
ご清聴ありがとうございました!
Slide 29
Slide 29 text
最⾼の技術を、 すべての⼈と企業に届ける