GENDAとIVRy、急成長スタートアップがDatabricksを採用した理由 Data + AI World Tour 2025

by keisuke-osone

Embed

Start on current slide

Slide 1

Slide 1 text

Slide 2

Slide 2 text

⾃⼰紹介 ■ 学⽣時代: ⼤学院で博⼠（⼯学）第⼆次ブームから第三次ブームの間にゲームAIの研究 ■ 2012年: 株式会社サイバードビッグデータブームに伴いデータ分析部⾨⽴ち上げ等を担当 ■ 2015年: 株式会社Gunosy Chief Data Oﬃcer ニュース記事配信アルゴリムの改善およびグノシー事業責任者 ■ 2024年: 株式会社IVRy Head of Data として社内外のデータ活⽤を推進書籍に「現場で使える! Python機械学習⼊⾨機械学習アルゴリズムの理論と実践」⼤曽根圭輔 2 2

Slide 3

Slide 3 text

@IVRy Inc. All rights reserved. データプロダクトへの活⽤社内でのデータ活⽤データ増による転送コスト増⾮構造データ対応の必要性 Databricks の採⽤ Databricks 導⼊による IVRy 社内外のデータ活⽤の事例を紹介します本⽇話す内容 Databricks 活⽤のタイムラインと事例紹介 2025年7⽉ - 検討本格導⼊活⽤ 2025年1⽉ - 3⽉ 2025年4⽉ - 6⽉通信の秘密への対応導入から半年ほどで ● AI/BI Genie ● MLFlow ● ai_query など多くのサービスを活用 3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

@IVRy Inc. All rights reserved. 2021 2022 2023 2024 2025/8 アイブリーの導⼊実績 IVRy について ※1：⾃動対話システム市場の現状と展望2025年版 / デロイトトーマツミック経済研究所 ※2：2024年2⽉期_クラウド型IVRシステムにおける市場調査調査機関:⽇本マーケティングリサーチ機構 / 調査期間:2024年1⽉16⽇~2024年2⽉2⽇ ※2022年1⽉(⾃社調査)時点 97/99 導⼊業界数 5：5 導⼊企業規模割合 4.9/5.0 顧客満⾜度 *⽇本標準産業分類(令和5年)の中分類 99業界 ※2025年8月末時点 40,000 件 6

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

@IVRy Inc. All rights reserved. 9 IVRy のデータの特徴 IVRy について機密性が⾼いリアルなコミュニケーションデータ ● 第三者の閲覧は原則不可 ● 明確に扱うためには許諾および委託が必要 ● 厳密な閲覧権限が必要本音と文脈が自然に残る一次データであり、AI時代において強力な資産だが、機密性が高く扱いが難しい。本⾳と⽂脈が⾃然に残る⼀次データ ● アンケートのような Explicit なログ、 Web のログのような Implicit なログの双⽅のよい点 ● 購買したかどうか、脱会したかどうかの判別が可能 ● 状況‧感情も含まれる。通信の秘密があるため扱いが難しい

Slide 10

Slide 10 text

Slide 11

Slide 11 text

@IVRy Inc. All rights reserved. 課題を踏まえた選定ポイント Databricks採⽤の理由データと権限が⼀元で管理しやすいか 1 権限管理が容易で、ストレージが完全に分離され、ワークフローからBIまで含み、LLMの検証からデプロイまでできるDatabricksを採⽤ AWS内で完結したシステムで、S3データを中⼼に据えられるか 2 ETLプログラムの実⾏やBIの運⽤がしやすいか 3 LLMソリューションの開発や社内外展開がしやすいか 4 11

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

@IVRy Inc. All rights reserved. Complex agents likely get context from many sources. Context can come from the developer of the application, the user, previous interactions, tool calls, or other external data. Pulling these all together involves a complex system. AI エージェントの活⽤にはデータ扱いが重要 IVRy Data Hubについて 25 https://blog.langchain.com/the-rise-of-context-engineering/

Slide 26

Slide 26 text

@IVRy Inc. All rights reserved. 26 AI エージェントは “AI-Ready” な基盤があるかどうかで⼤きく性能が変わる IVRy Data Hubについて ① 単⼀AI ②コンパウンドAI ③エージェント(型)AI ● ChatGPT, Copilotなど「要約」「メール作成」など個別⽀援 ● LLM がその時々の状況に応じて、どのツールをどう使うかを⾃律的に決定しながらタスクを進める ● 社内外のOLTP、OLAPとAI が連携することが不可⽋コンパウンドAI、エージェントAIには、コンテキストとツールを読ませることが重要。複合 AI システムと AI エージェント⾃律的に⽬的を理解‧⾏動複数AIが連携して動く ● LLM を複数回呼び出したり、外部ツールや検索、リランキングなど、複数のコンポーネントを組み合わせたシステム 1つのタスクを⾃動化

Slide 27

Slide 27 text

@IVRy Inc. All rights reserved. Databricks をデータプロダクトのPoCへ活⽤する際の利点 IVRy Data Hubについて 27 通信の秘密があるためデータと権限を⼀元で管理する必要特に社内PoCで認証を作るのが⼤変 ● 当時は Databricks Appsが⽇本になかったので独⾃で構築 ○ あったら Databricks Apps を使っていた AI の機能がDatabricksに搭載されており、試⾏錯誤がしやすい ● ai_query は初期のアノテーションやデータセットの作成にも

Slide 28

Slide 28 text

@IVRy Inc. All rights reserved. 未来の構成と課題実サービスに導⼊の際には今後は OLTP と OLAP の連携が肝に ● より実務に深く⼊る場合には頻度が⾼くなる、かつトランザクション処理が必要 ○ エージェントの状態管理、コンテキストの保持 ○ コンテキストも⻑期‧中期‧短期をバランスよく使う必要があるためリバースETLが重要になる ■ Lakebase が待たれる ● Agent Bricks も積極的に使っていきたい IVRy Data Hubについて 28

Slide 29

Slide 29 text

@IVRy Inc. All rights reserved. AI 時代には “AI-Ready” なデータ基盤が必要 IVRy では Databricks を基盤とすることで ● 社内では metric views をセマンティックレイヤーとして活⽤し、 Genie によりビジネスユーザーもデータを利⽤可能に ● 社外向けには権限を管理した上で Databricks を活⽤したエージェント基盤を構築し、Delta Sharing などで社内外のデータを活⽤できるデータプロダクトを開発今後も Agent Bricks、Lakebase なども積極的に活⽤予定 IVRy Data Hubについて 29 まとめ

Slide 30

Slide 30 text