Slide 1

Slide 1 text

p_UG 東京 新春!TROCCOで取り組むデータ活用LT大会 TROCCOで高める Databricksのポテンシャル ~データレイクを 生成AIで分析する新時代へ~ manabian

Slide 2

Slide 2 text

Databricks Champion 認定者 自己紹介 @manabian データ分析システムに関する ブロガー

Slide 3

Slide 3 text

データ分析基盤の構築方法論や関連テクノロジーの調査だけでなく、 エラー対応方法などいわゆる上流から下流までの記事を投稿しています。 引用元:データエンジニアリングの背景を踏まえてdbt(Data Build Tool)を少 し深く理解してみる #Python - Qiita 私のアウトプット 引用元:最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定方法の 提案~ - Qiita データ分析基盤における 構築方法論 関連テクノロジーの調査

Slide 4

Slide 4 text

Databricks には AI/BI Genieスペースという Text-To-SQL をベースにしたデータ分析が できる。ただし、とある課題にぶつかるときがあります。 引用元:AI/BI Genieスペースとは |Databricks on AWS 生成 AI でデータ分析する機能を利用する際には課題あり 分析対象のデータがない どうやって集めるの?

Slide 5

Slide 5 text

データの連携のステップがまでが大変で、 いわゆるクイックウィン(小さな成功)を成し遂げるのが困難です 引用元:Salesforce のデータを DWH と連携しておいて!!と言われた時に読む記事 - Qiita 他システムからのデータ連携はけっこう大変

Slide 6

Slide 6 text

TROCCO ならすぐにデータ連携が可能であり、 データ分析をすぐにはじめられる。 データ連携をはやくやるために 引用元:AI/BI Genieスペースとは |Databricks on AWS 引用元:Salesforceの接続情報 TROCCO なら データ連携が簡単 データがあれば すぐに生成 AI で分析可能

Slide 7

Slide 7 text

ちょっとしたトレーニングが実施できるようなコンテンツを公開しています。 TROCCO と Databricks の連携方法に関する記事は投稿済み 引用元:Databricks と TROCCO の融合で実現するシームレスなデータパイプライン構築入門 #Python - Qiita

Slide 8

Slide 8 text

次世代のデータ分析プラットフォームの方法論が注目されてきていますが、 データ統合がより重要となるため TROCCO などの他システム連携機能は必要です。 次世代のデータ分析プラットフォームでも TROCCO は必要 引用元:データレイクハウスとは?| Databricks データレイクで分析を行う レイクハウス Open Table Format が流行 引用元:Tableflow: Convert Kafka topics to Iceberg tables | Confluent | JP

Slide 9

Slide 9 text

ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian