Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricks Data+AI Summit 2024 最新動向座談会
Search
Takaya Nakanishi
June 19, 2024
Technology
0
280
Databricks Data+AI Summit 2024 最新動向座談会
2024年6月10日~13日に行われた Data&AI Summit 2024 の速報会資料になります。
Takaya Nakanishi
June 19, 2024
Tweet
Share
More Decks by Takaya Nakanishi
See All by Takaya Nakanishi
DAIS 2025 で感じた データ + AI の“イマ”
kc_nakanishi
0
350
20240330_LT資料「エンジニアに求められるマネジメント」
kc_nakanishi
1
320
ナレコム CULTURE DECK
kc_nakanishi
1
1.6k
AI業界をリードする企業のエンジニアが語る:クラウド & AI でキャリアを作る魅力
kc_nakanishi
0
330
受託クラウド AI ベンチャーで働く自分から見た 誰も言わない成功プロジェクトの共通点
kc_nakanishi
0
350
ChatGPTがある時代にわたしたちはどう生きるか
kc_nakanishi
1
210
「AWS 上で始めるモダンデータアアーキテクチャと データ活用に向けたアプローチ」
kc_nakanishi
0
520
データチームを率いる現場マネージャーが語る、市場が求めるデータエンジニアに爆速で成長する方法
kc_nakanishi
0
700
ナレコム社内研修資料_プロジェクトマネジメント入門(2022年版)
kc_nakanishi
1
1.6k
Other Decks in Technology
See All in Technology
新アイテムをどう使っていくか?みんなであーだこーだ言ってみよう / 20250911-rpi-jam-tokyo
akkiesoft
0
310
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
580
なぜスクラムはこうなったのか?歴史が教えてくれたこと/Shall we explore the roots of Scrum
sanogemaru
5
1.6k
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
1
820
20250913_JAWS_sysad_kobe
takuyay0ne
2
240
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
250
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
190
Agile PBL at New Grads Trainings
kawaguti
PRO
1
440
Webアプリケーションにオブザーバビリティを実装するRust入門ガイド
nwiizo
7
860
機械学習を扱うプラットフォーム開発と運用事例
lycorptech_jp
PRO
0
560
テストを軸にした生き残り術
kworkdev
PRO
0
210
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
150
Featured
See All Featured
BBQ
matthewcrist
89
9.8k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Raft: Consensus for Rubyists
vanstee
140
7.1k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Facilitating Awesome Meetings
lara
55
6.5k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Building Adaptive Systems
keathley
43
2.7k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Statistics for Hackers
jakevdp
799
220k
Transcript
© 2024/6/19 Knowledge Communication Co., Ltd. Data+AI Summit 2024 参加レポート
(速報) Knowledge Communication Co.,Ltd.
© 2024/6/19 Knowledge Communication Co., Ltd. 2 会社名 株式会社ナレッジコミュニケーション 設立日
2008年11月 資本金 9,000,000 円 本社所在地 千葉県市川市相之川4-6-5 フォーリーフ南行徳2F 従業員数 39名 (正社員 2024年5月末日時点) 経営陣 取締役会長 皆川 謙太 代表取締役CEO兼CTO 奥沢 明 取締役副社長COO 小泉 裕二 事業内容 AI×クラウド事業、VR・AR事業 Education事業 主要取引先 アマゾン ウェブ サービス ジャパン 日本マイクロソフト Databricks Japan株式会社 拠点 日本 (千葉、熊本) DIGITAL INNOVATION CENTER Kumamoto Lab. Awards 会社紹介
© 2024/6/19 Knowledge Communication Co., Ltd. 3 対象者とゴール AI や
データ活用に興味ある Databircks に興味がある Databricks の利用を開始した どこかで使っているのを知っている BizDev 領域に関わる人向け
© 2024/6/19 Knowledge Communication Co., Ltd. 4 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. 5 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. DAIS 内の主要な発表
© 2024/6/19 Knowledge Communication Co., Ltd. データ・インテリジェンスをあらゆる組織に提供し、独自のAIシステムと次世 代アナリティクスを構築。独自のデータを理解しデータの民主化を実現します 。 Data
& AI Summit 2024 のテーマ “ Data Intelligence for All “
© 2024/6/19 Knowledge Communication Co., Ltd. 8 Data Intelligence とは?
オープンで統一されたデータ基盤 Data Lakehouse Generative AI データとAIの拡張と活用を容易にする Data Intelligence データ+AIを組織全体で共有する DAIS 発表資料から作成
© 2024/6/19 Knowledge Communication Co., Ltd. 9 Data Intelligence とは?
- 具体例 データブリックスジャパン配布資料から抜粋
© 2024/6/19 Knowledge Communication Co., Ltd. 10 Databricks の特徴 -
GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
© 2024/6/19 Knowledge Communication Co., Ltd. 主要な発表
© 2024/6/19 Knowledge Communication Co., Ltd. 12 Data + AI
Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
© 2024/6/19 Knowledge Communication Co., Ltd. 13 DAIS 内の主要な発表 Unity
Catalog • オープンソース化 • 属性ベースのアクセス制御 • 外部ツールとの連携強化 パブリック公開されたリポジトリ ルール付けによるアクセス制御
© 2024/6/19 Knowledge Communication Co., Ltd. 14 DAIS 内の主要な発表 Data
Clean Room • 自社のデータをコピーする ことなくシェア • ガバナンスは提供者が管理 • 他PFでもシェア可能 • 複数言語でデータを扱える
© 2024/6/19 Knowledge Communication Co., Ltd. 15 DAIS 内の主要な発表 All
Serverless ノートブック、DLT 等すべてにおいてサーバレスコンピュートが使用可能に!
© 2024/6/19 Knowledge Communication Co., Ltd. 16 DAIS 内の主要な発表 Generative
AI • ノーコードでOSSモデルのFine Tuning が可能 • Mosaic AIで構築された画像生成AI(Shutterstock ImageAI) • Unity Catalog上で管理されたツール(Function)に対して Calling できる モデルに質問→自動的に必要なツール選定→ツールを使ってIntelligentな回答を実現!
© 2024/6/19 Knowledge Communication Co., Ltd. 17 DAIS 内の主要な発表 Generative
AI • エージェントの回答品質はフィードバックしてモニタリング(Agent Evaluation) • Mlflow によるトレースを利用して詳細原因の追跡(MLflow Tracing) エージェントの回答に対してフィードバックを送信 フィードバックは自動的に記録
© 2024/6/19 Knowledge Communication Co., Ltd. 18 DAIS 内の主要な発表 AI/BI
Genie Genie がチャットベースで必要なデータを取得 & 自動可視化してくれます! コードを書かずしてデータを扱うことが可能に。 完全日本語でクエリ実行 1クリックで自動可視化
© 2024/6/19 Knowledge Communication Co., Ltd. 19 DAIS 内の主要な発表 LakeFlow
Databricks でパイプライン構築するための新しいソリューションを発表! 複数のソースから取り込んだデータを利用してデータ変換したデモが紹介
© 2024/6/19 Knowledge Communication Co., Ltd. 20 DAIS 内の主要な発表 Data
Format Updates • Delta Lake UniForm が GA → Delta, Iceberg, Hudi どのフォーマットとしてもアクセス可能! • Liquid Clustering → Partition や Z-Order も超える新たなチューニング手法でクエリをより高速に! • Predictive IO → Deep Learningにより必要なデータのみ効率よくスキャン → 高速読み込み! ユーザーはより意識することなく、パフォーマンスはより高性能に
© 2024/6/19 Knowledge Communication Co., Ltd. 21 Agenda 1. DAIS
内での主要な発表 2. セッションピックアップ • シェル社のAIとレイクハウスによる効果的なデータガバナンス • ブラデスコ銀行のデータメッシュアーキテクチャによる AI 駆動改革 3. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. セッションピックアップ
© 2024/6/19 Knowledge Communication Co., Ltd. 23
© 2024/6/19 Knowledge Communication Co., Ltd. 24 お話する内容 ブログ記事として公開
© 2024/6/19 Knowledge Communication Co., Ltd. 25 ピックアップセッション
© 2024/6/19 Knowledge Communication Co., Ltd. 26 ピックアップセッション ピックアップセッション データガバナンスと
データブリックス
© 2024/6/19 Knowledge Communication Co., Ltd. 27 オーストリアの1部門から全社に広まった取組
© 2024/6/19 Knowledge Communication Co., Ltd. 28 データプロジェクト始める難しさ みんな忙しい あれば良いもの扱い
目標の設定の難しさ
© 2024/6/19 Knowledge Communication Co., Ltd. 29 解決アプローチ オーナーはビジネス側 優れたツールを使う
完璧じゃなくても始める
© 2024/6/19 Knowledge Communication Co., Ltd. 30 データ中心で取組を進めるポイント オーナーシップを明確に データカタログを持つ
データリネージに対応 データセキュリティ
© 2024/6/19 Knowledge Communication Co., Ltd. 31 どこから始めるか? 小さく始めることを意識 始めたら素早く成功する
データガバナンスへの 意識が速度を上げる
© 2024/6/19 Knowledge Communication Co., Ltd. 32 ピックアップセッション ブラデスコ銀行の AI駆動型改革
© 2024/6/19 Knowledge Communication Co., Ltd. 33 一般的にシステムを抱える会社の課題
© 2024/6/19 Knowledge Communication Co., Ltd. 34 一般的にシステムを抱える会社の課題
© 2024/6/19 Knowledge Communication Co., Ltd. 35 データの取り込み先は Databricks を中心に
© 2024/6/19 Knowledge Communication Co., Ltd. 36 データカタログを中心としたアプローチ データカタログを中心と したドメイン分散
ドメイン毎にデータス チュワードが Unity Catalog 利用を推進
© 2024/6/19 Knowledge Communication Co., Ltd. 37 データカタログを中心としたアプローチ 理想とするデータ基盤/データ活用 業務オーナー
データスチュワード データキュレーター データ利用者 分析のための対応 供給 活用 統合 BI データエンジニ アリング 分析戦略 ビジネスデータ ビジネス状況理解 ソリューション活用 アーキテクチャ Spark / 分散処理 継続的な環境整備 最適化支援
© 2024/6/19 Knowledge Communication Co., Ltd. 38 データ取り組み機構としての Databricks の役割
パレートの法則の適用 テンプレート/標準化 監視による品質担保
© 2024/6/19 Knowledge Communication Co., Ltd. 39 ドメイン毎に横展開しデータメッシュ化
© 2024/6/19 Knowledge Communication Co., Ltd. 40 成果 / データ=プロダクトという考え方が定着
組織における変化 ドメインに根付いたデータ管理 データカタログによる品質担保 自律と協調が両立された
© 2024/6/19 Knowledge Communication Co., Ltd. 41 成果 与信判定や詐欺検知判定などの成果 •データプラットフォームとトラン
ザクションデータを統合し、高速な モデル運用が可能 •カスタマージャーニーおいて顧客 維持率を50%以上改善する •440億円以上の与信判定で高度化さ れたモデルを適用
© 2024/6/19 Knowledge Communication Co., Ltd. 42 成果 自動車ローン事業における成果 •2億人の顧客向けに迅速なデータパ
イプラインとモデル推論を提供 •特徴量エンジニアリングのパイプ ライン処理の実行時間が 12 時間 •モデル推論の処理は 40 分
© 2024/6/19 Knowledge Communication Co., Ltd. まとめ
© 2024/6/19 Knowledge Communication Co., Ltd. 44 Databricks の特徴 -
GOAT G ガバナンス O オープン A AI T TCO Databricks Clean Rooms Unity Catalog OSS 化 GenAI フルサーバレス Serverless SQL Liquid Clustering
© 2024/6/19 Knowledge Communication Co., Ltd. 45 Data + AI
Summit 2024 の主要アナウンス ノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format
© 2024/6/19 Knowledge Communication Co., Ltd. 46 どこから始めるか? 小さく始めることを意識 始めたら素早く成功する
データガバナンスへの 意識が速度を上げる
© 2024/6/19 Knowledge Communication Co., Ltd. AI を活用し前進するフレームワーク - デジタルフィードバックループ
47 ナレッジコミュニケーションのご支援 参考 : DX時代に必要なデジタルフィードバックループとは? URL : https://www.cloud-for-all.com/bizapp/blog/digital-feedback-loop 顧客 働く人 製品 業務 Data & Gen AI Engage customers Optimize operations Empower people Transform products ナレッジコミュニケーションにおける支援
© 2024/6/19 Knowledge Communication Co., Ltd. FY22-23 1Q Fin