Databricksワークショップ - 生成AIとDWH

Slide 1

Slide 1 text

Databricks Data Day Databricksを通じた課題解決 2024/11 xxxxxxxx 様

Slide 2

Slide 2 text

アジェンダ ● スケジュール ● 座学 ○ Databricksとは ○ Databricksにおける生成AIとDWHの活用 ● ハンズオン ○ AI Playground ○ Databricks SQL + Databricksアシスタント ○ Databricks AI/BI 2

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved スケジュール # 時間枠(午前) 時間枠(午後) 時間枠アジェンダ 1 9:00-9:10 14:00-14:20 20分開会のご挨拶・イントロダクション 2 9:20-9:50 14:20-14:50 30分座学(Databricksとは、機能概要) 3 9:50-10:00 14:50-15:00 10分休憩 4 10:00-10:20 15:00-15:20 20分ハンズオン - AI Playground 5 10:20-11:10 15:20-16:10 50分ハンズオン - Databricks SQL(Databricksアシスタント) 6 11:10-12:00 16:10-17:00 50分ハンズオン - Databricks AI/BI 3 各ハンズオン枠の冒頭で使用する機能の詳細説明を行います

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサル、日立製作所にてデータ分析・Webサービス構築などに従事。インド赴任経験あり。 ▪ Databricks Certiﬁed (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 4 @taka_aki

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved 10,000+ のグローバル顧客 $1.5B+ の収益 $4B の投資レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニーのクリエイター 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved データレイクハウスすべてのデータに対するオープンで統合された基盤統合セキュリティ、ガバナンス、カタログ信頼性と共有のための統合データストレージオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) データサイエンス & AI ETL & リアルタイム分析オーケストレーションデータウェアハウス 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

©2024 Databricks Inc. — All rights reserved すべての生データ (ログ、テキスト、音声、動画、画像 ) ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog 信頼性と共有のための統合データストレージ Delta Lake Databricksデータインテリジェンスプラットフォームオープンデータレイク 11

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Mosaic AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供 13

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータインテリジェンスプラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Mosaic AI カスタムLLMの作成チューニング、提供ハンズオンでカバーする範囲 14

Slide 15

Slide 15 text

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたのデータのセマンティクスを理解するためにデータインテリジェンスエンジオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去の処理にジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Mosaic AI カスタムLLMの作成チューニング、提供オペレーション財務マーケティングカスタマーサービスどうすれば組織の皆にデータとAIを展開できるのか？ “Genie” 自然言語で誰でもデータや AIを活用 15

Slide 16

Slide 16 text

©2024 Databricks Inc. — All rights reserved Databricksデータインテリジェンスプラットフォームあなたのデータのセマンティクスを理解するためにデータインテリジェンスエンジオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像 Workﬂo 過去の処理にジョブコストの Delta Live Tables データ品質の自動化 Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウト Mosaic AI カスタムLLMの作成チューニング、提供オペレーション財務マーケティングカスタマーサービス “Genie” 自然言語で誰でもデータや AIを活用ハンズオンでカバーする範囲 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

©2024 Databricks Inc. — All rights reserved Databricksにおける生成AIとDWHの活用 Databricksの生成AIとDWHを活用することで、SQLを(ほとんど)記述することなしにデータウェアハウスに対する操作が可能となります。テーブル AI/BIダッシュボードアナリストビジネスユーザー AI/BI Genie SQLエディタ Unity Catalog AI Playground Databricks アシスタント日本語を用いた生成AIとのチャット日本語を用いたテーブルへの問い合わせ SQL SQL SQL SQLを用いたテーブルへの問い合わせ日本語、 SQLを用いたダッシュボードの構築日本語を解する AIアシスタント 18 Databricks SQL

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©2024 Databricks Inc. — All rights reserved Delta Lake UniForm データサイエンス AI ETL リアルタイム分析オーケストレーションデータウェアハウスオープンデータレイク全ての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog あなたのデータのセマンティクスを理解するAIを活用したデータインテリジェンスエンジン DatabricksIQ Databricks SQL データインテリジェンスプラットフォームにおけるインテリジェントなデータウェアハウス 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

©2024 Databricks Inc. — All rights reserved Unity Catalog アクセス制御リネージデータ共有モニタリング検索監査テーブルファイルダッシュボード/ ノートブック他のデータシステムユーザーアプリモデルオープンAPI においては、統合されたガバナンス、セキュリティ、コラボレーションが基盤となります Databricks Unity Catalog データインテリジェンスプラットフォーム 23

Slide 24

Slide 24 text

©2024 Databricks Inc. — All rights reserved 24 3レベルの名前空間 SELECT * FROM main.paul.red_wine; -- .. SELECT * FROM hive_metastore.default.customers; Unity Catalog カタログ 2 カタログ 1 スキーマ 2 スキーマ 1 External Table ビュー外部テーブルマネージドテーブル hive_metastore (レガシー) default (データベース) customers (テーブル) Unity Catalogにおいてはカタログ→スキーマ→テーブルという構造でテーブルが管理されます。スキーマはデータベースと同じです。

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©2024 Databricks Inc. — All rights reserved ノートブック、 SQLエディタ、ファイルエディタでネイティブに動作する文脈を解する AIアシスタントコードやクエリーの生成、オートコンプリート問題の説明と修正企業の知識グラフを用いてお使いのデータ資産に適した文脈考慮の結果を取得 26 Databricksアシスタントアシスタントはあくまでアシストしてくれる存在です。結果はご自身で確認しましょう。

Slide 27

Slide 27 text

Slide 28

Slide 28 text

©2024 Databricks Inc. — All rights reserved Mosaic AI Playground • Databricks内外でホストされている基盤モデルと容易にチャット • 複数のモデルの出力、スピード、その他のパフォーマンス特性を比較 • プロンプトエンジニアリングとテキスト生成パラメータのチューニングに対するクイックな実験様々な基盤モデルとのチャットを比較 28

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

©2024 Databricks Inc. — All rights reserved AI/BI Genieのセットアップトピックとデータへのフォーカス指示の追加精度の検証 • それぞれのGenieスペースはトピック固有であるべきです • 適切に文書化され、クリーンなUnity Catalog のテーブルとメタデータを取り込みます • 作成者はGenieをガイド、教育することができます • 一般的な指示とサンプルの SQL文 • 作成者や信頼できるビジネスユーザーは期待される回答をテストすることができます • 指示に対して必要な改善を行います 33

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

©2024 Databricks Inc. — All rights reserved ハンズオン - AI Playground 提供されている生成AIに問い合わせを行いましょう。 1. モデル「Meta Llama 3.1 70B Instruct」を選択します。 2. 「カレーの作り方を教えてください」という質問をしてみます。 ○ その他のプロンプトの例 i. PythonでATMのプログラムを書いてください(Write an atm program using python) ii. 日本の国歌を英語に翻訳してください(Translate Japanese anthem to English) 3. ご自身で思い浮かぶ質問をしてみましょう。他のモデルの出力を比較したり、システムプロンプト(関西弁で回答します、など)を追加してみましょう。 47

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

©2024 Databricks Inc. — All rights reserved SQLとは SQLが何かをお話しする前にデータやデータベースの話をさせてください ● データとは ● データベースとはデータとは1人または複数の人や物や事象に関する定性的または定量的な値の集まりである。データ - Wikipedia コンピューティングにおいて、データベースは、電子的に保存され、アクセスできる組織化されたデータの集合である。データベース - Wikipedia 氏名：やまだたろう年齢：25 性別：男氏名：いしかわはな年齢：23 性別：女・・・ 51

Slide 52

Slide 52 text

©2024 Databricks Inc. — All rights reserved SQLとは大量データを管理するデータベースに問い合わせるための言語がSQLです ● SQL(Structured Query Language)とは SQLは、関係データベース管理システム (RDBMS) において、データの操作や定義を行うためのデータベース言語（問い合わせ言語）、ドメイン固有言語である。プログラミングにおいてデータベースへのアクセスのために、他のプログラミング言語と併用される。 SQL - Wikipedia 顧客データベースから特定の顧客のデータを取り出したい口座データベースの残高を更新したいユーザーが退会したのでユーザーデータを削除したい SQLを使います SQLを使います SQLを使います 52

Slide 53

Slide 53 text

©2024 Databricks Inc. — All rights reserved SQLとはデータベースにあるデータをどの様に処理するのかをSQLで記述します行(row/record) 列(column) ● 列「Prefecture」のデータをすべてください。 ● 列「pref_no」の昇順で並び替えたデータをください。 ● 列「Prefecture」が「Hokkaido」であるすべての行をください。 ● 列「date_timestamp」から年月を取り出し、「Prefecture」と年月ごとの「Cases」の合計をください。テーブル「 covid_cases」 53

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

©2024 Databricks Inc. — All rights reserved ハンズオン - データの取り込み CSVファイルを取り込んでテーブルを作成しましょう。 ● SQLエディタにアクセスして、以下のSQLを実行します。あなたのメールアドレスの名前のデータベースが作成されます。 ● SQLエディタの下部に、カタログ.データベースが表示されますのでメモします。 DECLARE database_name = "202411_handson_catalog." || regexp_replace(current_user(), '[\.@]', '_'); CREATE DATABASE IF NOT EXISTS IDENTIFIER(database_name); SELECT database_name; 57

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

©2024 Databricks Inc. — All rights reserved 関連マニュアル ● ファイルのアップロードを使用してテーブルを作成または変更する - Azure Databricks | Microsoft Learn ● Azure Databricks にファイルをアップロードする - Azure Databricks | Microsoft Learn ● Unity Catalog ボリュームにファイルをアップロードする - Azure Databricks | Microsoft Learn ● カタログエクスプローラーとは - Azure Databricks | Microsoft Learn 63

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

©2024 Databricks Inc. — All rights reserved ハンズオン - アシスタント+SQLエディタアシスタントの助けを借りながらテーブルへの問い合わせを行ってみましょう。 1. SQLエディターにアクセスしてアシスタントを開きます。 2. 「samples.nyctaxi.tripsをpickup_zipでグルーピングした件数」と入力して送信します。 3. 表示されたクエリーを確認して「承認」をクリックします。 4. SQLウェアハウスが選択されていることを確認の上、クエリーを実行します。 5. 色々なプロンプトを試してみましょう。 76

Slide 77

Slide 77 text

©2024 Databricks Inc. — All rights reserved 関連マニュアル ● SQL エディターでのクエリの作成とデータの探索 - Azure Databricks - Databricks SQL | Microsoft Learn ● Databricks アシスタントを使用する - Azure Databricks | Microsoft Learn ● SQL ウェアハウスに接続する - Azure Databricks | Microsoft Learn ● Databricks SQL での視覚化 - Azure Databricks - Databricks SQL | Microsoft Learn ● ダッシュボードを作成する - Azure Databricks | Microsoft Learn ● Unity Catalog でデータガバナンスを使用する - Azure Databricks | Microsoft Learn 77

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

©2024 Databricks Inc. — All rights reserved 一般的な指示 • データチームが直接的なガイドを提供できるように支援 • ユニークな専門用語、ロジック、コンセプト、KPIなどを定義 • 時間経過と共に指示を見直しましょうあなたは日本における [データの名称]に関する日本人のエキスパートです。与えられた質問に対して英語を使わずに日本語で回答します。お勧めの指示 82

Slide 83

Slide 83 text

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

Slide 97

Slide 97 text

Slide 98

Slide 98 text

Slide 99

Slide 99 text

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Slide 102

Slide 102 text

Slide 103

Slide 103 text

Slide 104

Slide 104 text

Slide 105

Slide 105 text

Slide 106

Slide 106 text

Slide 107

Slide 107 text

Slide 108

Slide 108 text

Slide 109

Slide 109 text

©2024 Databricks Inc. — All rights reserved ハンズオン - Databricks AI/BI 準備されているデータを対象に以下の分析を行いましょう。 1. AI/BI Genieによるデータ分析 ○ Genieスペースを作成する ○ 必要な設定を行う(指示、サンプル質問など) ○ 繰り返しGenieに問い合わせを行いデータへの理解を深める 2. AI/BI Dashboardによるデータの可視化 ○ ダッシュボードを作成する ○ 日本語で可視化の指示を行う ○ 必要に応じて手動で調整する ○ ダッシュボードから得られるパターンについて洞察を得る ○ 必要に応じてGenieに戻り問い合わせを行う 109

Slide 110

Slide 110 text

©2024 Databricks Inc. — All rights reserved 関連マニュアル ● Databricks AI/BI とは - Azure Databricks | Microsoft Learn ● ダッシュボード - Azure Databricks | Microsoft Learn ● AI/BI Genie スペースを操作する - Azure Databricks | Microsoft Learn ● 効果的な Genie スペースをキュレーションする - Azure Databricks | Microsoft Learn 110