Lakehouse×生成AI Databricksで体験する次世代データ分析ハンズオン 短縮版

SocioInfo#30「AIとデータ利活用とRAG」（自然言語処理，AI，RAG，データ分析他）時にて発表した資料の一部です。

Transcript

1. SocioInfo#30 Lakehouse × 生成AI Databricksで体験する 次世代データ分析ハンズオン 島村 学
2. はじめに Lakehouse と 生成 AI というホットなテーマについてハンズオンを通して理解を深めていた だきます。 理論編としてデータ分析業界において注目されている Lakehouse と Databricks に解 説します。 ハンズオンとして、 Databricks 上でメダリオンアーキテクチャにより Lakehouse の構築を 行い、 そのデータに対する生成 AI によるデータ分析を実施していただきます。
3. 自己紹介 (1/2) Databricks Champion 認定者 データ分析システムにおける アーキテクト兼データエンジニア 株式会社ジール 島村 学
4. 自己紹介 (2/2) DAMA のイベントにて登壇 IT 記事のブロガーです
5. 理論編
6. Lakehouse とは (1/2) Lakehouse とは、 Data Lake と Data Warehouses を組み合わせたデータ基盤アーキテクチャです。 オープンなフォーマットで低価格のストレージにデータを格納するなどの特徴があります。 出所：Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
7. メダリオンアーキテクチャとは Lakehouse の普及とともに、メダリオンアーキテクチャというデータ設計パターンが注目されています。 ブロンズ (Bronze)・シルバー (Silver)・ゴールド (Gold)の3つのレイヤーを順次通過させることで、データの構造 と品質を段階的に向上させていく方法論であり、Lakehouse 構築時のベストプラクティスの１つです。 出所：メダリオンアーキテクチャ (medallion architecture) | Databricks
8. 1. Databricks にログイン Databricks にログインします。接続先 URL、および、接続情報は別途送付します。 続きは参加者のみです。
9. ハンズオンの実施に向けて
10. Microsoft 最近のクラウドサービスを利用するにはスマホなどで認証する方法がデフォルトの動作となっているため、 今回はお待ちのスマホで Microsoft Authenticator というアプリをダウンロードしてください。 iPhone 版 Android 版
11. ハンズオン
12. ハンズオン概要 Databricks のログインからはじめて、Databricks にてメダリオンアーキテクチャでデータ を蓄積を行い、生成 AI によるデータ分析を実施していただきます。下記の実施手順を実施 します。 Databricks にログイン GitHub からコードを取得 「00_config」ノートブックの実行 「01_medallion_architecture 」ノートブックの実行 「03_data_analysis_by_gen_ai」ノートブックの実行
13. 1. Databricks にログイン Databricks にログインします。接続先 URL、および、接続情報は別途送付します。 続きは参加者のみです。