Databricks Data+AI Summit 2024 最新動向座談会

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024/6/19 Knowledge Communication Co., Ltd. 2 会社名株式会社ナレッジコミュニケーション設立日 2008年11月資本金 9,000,000 円本社所在地千葉県市川市相之川4-6-5 フォーリーフ南行徳2F 従業員数 39名 (正社員 2024年5月末日時点) 経営陣取締役会長皆川謙太代表取締役ＣＥＯ兼ＣＴＯ奥沢明取締役副社長ＣＯＯ小泉裕二事業内容 AI×クラウド事業、VR・AR事業 Education事業主要取引先アマゾンウェブサービスジャパン日本マイクロソフト Databricks Japan株式会社拠点日本 (千葉、熊本) DIGITAL INNOVATION CENTER Kumamoto Lab. Awards 会社紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2024/6/19 Knowledge Communication Co., Ltd. 12 Data + AI Summit 2024 の主要アナウンスノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2024/6/19 Knowledge Communication Co., Ltd. 16 DAIS 内の主要な発表 Generative AI • ノーコードでOSSモデルのFine Tuning が可能 • Mosaic AIで構築された画像生成AI(Shutterstock ImageAI) • Unity Catalog上で管理されたツール(Function)に対して Calling できるモデルに質問→自動的に必要なツール選定→ツールを使ってIntelligentな回答を実現！

Slide 17

Slide 17 text

© 2024/6/19 Knowledge Communication Co., Ltd. 17 DAIS 内の主要な発表 Generative AI • エージェントの回答品質はフィードバックしてモニタリング(Agent Evaluation) • Mlflow によるトレースを利用して詳細原因の追跡(MLflow Tracing) エージェントの回答に対してフィードバックを送信フィードバックは自動的に記録

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© 2024/6/19 Knowledge Communication Co., Ltd. 20 DAIS 内の主要な発表 Data Format Updates • Delta Lake UniForm が GA → Delta, Iceberg, Hudi どのフォーマットとしてもアクセス可能！ • Liquid Clustering → Partition や Z-Order も超える新たなチューニング手法でクエリをより高速に！ • Predictive IO → Deep Learningにより必要なデータのみ効率よくスキャン → 高速読み込み！ユーザーはより意識することなく、パフォーマンスはより高性能に

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2024/6/19 Knowledge Communication Co., Ltd. 37 データカタログを中心としたアプローチ理想とするデータ基盤/データ活用業務オーナーデータスチュワードデータキュレーターデータ利用者分析のための対応供給活用統合 BI データエンジニアリング分析戦略ビジネスデータビジネス状況理解ソリューション活用アーキテクチャ Spark / 分散処理継続的な環境整備最適化支援

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2024/6/19 Knowledge Communication Co., Ltd. 45 Data + AI Summit 2024 の主要アナウンスノーコード Fine Tuning Tool Catalog Evaluation Mlflow Tracing Genie Databricks LakeFlow Unity Catalog Databricks Clean Room Delta Lake UniForm Liquid Clustering Predictive IO Generative AI Warehousing & AI/BI Data Engineering Governance Data Format

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© 2024/6/19 Knowledge Communication Co., Ltd. AI を活用し前進するフレームワーク - デジタルフィードバックループ 47 ナレッジコミュニケーションのご支援参考 : DX時代に必要なデジタルフィードバックループとは？ URL : https://www.cloud-for-all.com/bizapp/blog/digital-feedback-loop 顧客働く人製品業務 Data & Gen AI Engage customers Optimize operations Empower people Transform products ナレッジコミュニケーションにおける支援

Slide 48

Slide 48 text