ハンズオンで学ぶDatabricks

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved Learning Spark 2nd Editionの翻訳 + αの内容となっています！ Apache Spark徹底入門本書は、ビッグデータを主な対象としたデータ分析フレームワークである Apache Spark、MLﬂow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データ AIの実装者が Apache Spark、MLﬂow およびDelta Lakeを使いこなすための解説を行います。 ● Python、SQL、Scala、またはJavaの高レベルの構造化 APIの学習 ● Spark の操作とSQLエンジンの理解 ● Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ● JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ● 構造化ストリーミングを使用してバッチデータとストリーミングデータの分析を実施 ● オープンソースのDelta LakeとSparkを使用して信頼性の高いデータパイプラインを構築 ● MLlibを使用する機械学習パイプラインの開発、 MLflowを使用するモデルの管理、本番化 ● [日本語版オリジナルコンテンツ ]pandas dataframe、spark dataframeに関する各種データフレームの使い分け ● [日本語版オリジナルコンテンツ ]LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、 LLMの利用方法の実践

Slide 4

Slide 4 text

アジェンダ ● Databricksの使い方 ● Databricksノートブックの活用 ● MLﬂowによる機械学習モデルの管理 ● 生成AIを活用した機能 ● ハンズオン ○ Databricksアシスタント ○ 機械学習モデルのトレーニング ○ AI/BI Genieスペース ○ AI/BIダッシュボード

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

©2024 Databricks Inc. — All rights reserved Databricksにおける機械学習 MLライフサイクル全体に対するデータネイティブ、コラボレーティブなソリューションによるオープンなデータレイクハウス基盤 MLOps / ガバナンスデータ準備データのバージョン管理モニタリングバッチスコアリングオンラインサービングモデルトレーニングモデルチューニングランタイム環境 Feature Store バッチ (高スループット) リアルタイム (低レーテンシー) AutoML データサイエンスワークスペース

Slide 34

Slide 34 text

©2024 Databricks Inc. — All rights reserved モデルトラッキングフレーバー2 フレーバー 1 カスタムモデルインラインコードコンテナバッチ&ストリーミングスコアリングクラウド推論サービス OSSサービングソリューション Serving Parameters Metrics Artifacts Models Metadata デプロイメントオプションステージングプロダクションアーカイブデータサイエンティストデプロイメントエンジニア v2 v3 v1 モデルレジストリ MLﬂow

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

ノートブック、 SQLエディタ、ファイルエディタにネイティブで組み込まれた、あなたのデータの文脈を理解する AIアシスタントコードやクエリーの生成、オートコンプリート問題の説明や修正 Unity Catalogと連携することで、あなたのデータ資産の文脈に適した結果を提示 38 Databricksアシスタント

Slide 39

Slide 39 text

©2022 Databricks Inc. — All rights reserved AI/BIダッシュボード • 最終的にはDBSQL(とノートブック)のダッシュボードを置き換える次世代ダッシュボード • 現時点ではDQSQLダッシュボードと並行稼働していますが、最終的には来年以降にDBSQLダッシュボードを廃止します • ノートブックダッシュボードの置き換えはそれよりも少し後になります • キーとなる違い • 整理されたコンテンツモデル • モダンなビジュアライゼーションライブラリ & 設定体験 • 組織内 / ワークスペース外に配布する機能 • 検索、リネージ & アシスタントとのインテグレーション

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

最新機能を利用できるように設定を行います。ワークスペース右上のユーザーアイコンをクリックし、設定を選択します。 43 事前準備

Slide 44

Slide 44 text

ユーザー > 開発者の新しい AssistantのUIをオンにします。 44 事前準備

Slide 45

Slide 45 text

アシスタントにアクセスするにはアイコンをクリックします。 45 Databricksアシスタントへのアクセス

Slide 46

Slide 46 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 46 Databricksアシスタントへのアクセス

Slide 47

Slide 47 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 47 Databricksアシスタントへのアクセス

Slide 48

Slide 48 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 48 Databricksアシスタントへのアクセス

Slide 49

Slide 49 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 49 Databricksアシスタントへのアクセス

Slide 50

Slide 50 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 50 Databricksアシスタントへのアクセス

Slide 51

Slide 51 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 51 Databricksアシスタントへのアクセス

Slide 52

Slide 52 text

日本語でアシスタントに問い合わせます。 52 Databricksアシスタントへ問い合わせ

Slide 53

Slide 53 text

アシスタントで以下の問い合わせを行いましょう。ノートブックを作成し、稼働しているクラスターにアタッチしてください。 53 Databricksアシスタントへ問い合わせこちらが我々のデータセットの Titleカラムの例です : 1. The Shawshank Redemption (1994) タイトル名は数とカッコの間です。公開日はカッコの間です。公開日とタイトル名を抽出する関数を書いてください。

Slide 54

Slide 54 text

コードが表示される場合には、ショートカットボタンが表示されます。 54 Databricksアシスタントへ問い合わせ差分表示コードの実行選択しているセルにコードを挿入コードをコピー

Slide 55

Slide 55 text

すでにコードが入力されている場合には、文脈を解して回答します。 55 Databricksアシスタントへ問い合わせ PySpark DataFrameをPandas DataFrameに変換し、 fare_amount列に基づいて dfから最も高価な 10件のトリップを選択するための Pandasコードを生成してください。

Slide 56

Slide 56 text

ノートブックのセルに以下を記入し、セルが選択されている状態にします。 56 Databricksアシスタントへ問い合わせセルが選択されている状態でアシスタントに以下の問い合わせを行います。 import pandas as pd # テーブル "samples.nyctaxi.trips" からデータを読み込む df = spark.read.table("samples.nyctaxi.trips") PySpark DataFrameをPandas DataFrameに変換し、 fare_amount列に基づいてdfから最も高価な 10件のトリップを選択して表示するための Pandasコードを生成してください。

Slide 57

Slide 57 text

エラーが発生した際には、診断エラーボタンが表示されます。 57 アシスタントにエラーを修正させる

Slide 58

Slide 58 text

以下のセルを実行してエラーを起こし、アシスタントに助けてもらいましょう。 58 アシスタントにエラーを修正させる string[::-1]

Slide 59

Slide 59 text

コードを説明してとお願いします。 59 アシスタントにコードを説明させる

Slide 60

Slide 60 text

● できるだけ具体的に指示してください。テーブルを指定し、データがどのようなものであるかを示す例を提供してください。 ● Databricks アシスタントは、テーブルと列のスキーマとメタデータを認識します。これにより、自然言語を使用して非常に正確なクエリーを生成することができます。たとえば、テーブルに列 userID と State がある場合、 Databricks アシスタントにワシントンに住むユーザーのリストを生成するよう依頼できます。 ● Databricks アシスタントはテーブルと列のメタデータにのみアクセスでき、行レベルのデータにはアクセスできません。そのため、実際のデータがユニークな形式をしている場合、クエリーを正しく記述できない場合があります。 ● Databricks アシスタントは会話の履歴を考慮するため、会話を進めながら質問を改善していくことができます。 60 アシスタントに問い合わせる際の注意点 https://docs.databricks.com/ja/notebooks/databricks-assistant-faq.html

Slide 61

Slide 61 text

Slide 62

Slide 62 text

サイドメニューのワークスペースにアクセスし、画面右上の3点リーダーをクリックし、インポートを選択します。 62 ノートブックのインポート

Slide 63

Slide 63 text

URLを選択し、URLのボックスに以下のURLを貼り付けます。 63 ノートブックのインポート https://sajpstorage.blob.core.windows.net/yayoi/20240611_handson/Databricks%E3%81%AB%E3%81%8A %E3%81%91%E3%82%8B%E3%82%A8%E3%83%B3%E3%83%88%E3%82%99%E3%83%84%E3%83%BC%E3 %82%A8%E3%83%B3%E3%83%88%E3%82%99%E3%81%AE%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%B F%92.html

Slide 64

Slide 64 text

■ サイドメニューからクラスターを選択しますクラスターの作成

Slide 65

Slide 65 text

■ Personal Computeで作成をクリックしますクラスターの作成

Slide 66

Slide 66 text

■ コンピューティングを作成をクリックします ■ クラスターの起動には5分程度要しますのでお待ちください。クラスターの作成

Slide 67

Slide 67 text

■ クラスター名の右のインジケータがになれば、起動が完了したことになります。クラスターの作成

Slide 68

Slide 68 text

■ ノートブックを開き、右上の接続をクリックしますノートブックをクラスターにアタッチ

Slide 69

Slide 69 text

■ 先ほど起動したクラスターを選択しますノートブックをクラスターにアタッチ

Slide 70

Slide 70 text

■ これでハンズオンの準備が整いました！ノートブックをクラスターにアタッチ

Slide 71

Slide 71 text

Slide 72

Slide 72 text

サイドメニューのGenieをクリックします。 72 事前準備

Slide 73

Slide 73 text

Newをクリックします。 73 事前準備

Slide 74

Slide 74 text

Titleにはご自身の名前を含むデータルームの名称、Default warehouseではウェアハウスguest_warehouseを選択します。 74 事前準備

Slide 75

Slide 75 text

Add tablesをクリックし、Catalogで対象カタログ、Schemaでdefault、一覧表示されるテーブルから対象テーブルを選択します。選択したら右上の✖をクリックします。 75 事前準備

Slide 76

Slide 76 text

Saveをクリックします。 76 事前準備

Slide 77

Slide 77 text

これで準備が整ったので日本語で問い合わせてみましょう！ 77 事前準備

Slide 78

Slide 78 text

これで準備が整ったので日本語で問い合わせてみましょう！ 78 事前準備

Slide 79

Slide 79 text

Slide 80

Slide 80 text

サイドメニューのダッシュボードをクリックします。 80 事前準備

Slide 81

Slide 81 text

ダッシュボードを作成をクリックします。 81 事前準備

Slide 82

Slide 82 text

ダッシュボード作成画面が表示されます。データタブをクリックします。 82 事前準備

Slide 83

Slide 83 text

テーブルを選択をクリックします。 83 事前準備

Slide 84

Slide 84 text

Add tablesをクリックし、Catalogで対象カタログ、Schemaでdefault、一覧表示されるテーブルから対象テーブルをクリックします。 84 事前準備

Slide 85

Slide 85 text

テーブルの中身が表示されます。Canvasタブをクリックします。 85 事前準備

Slide 86

Slide 86 text

これでダッシュボードを作成する準備が整ったので作成していきましょう。 86 事前準備

Slide 87

Slide 87 text

参考資料 ● Databricksノートブックでコードを開発する | Databricks on AWS ● Databricksベストプラクティス：ノートブックのモジュール化 ● Databricksにおける機械学習モデル構築のエンドツーエンドのサンプル ● Databricksアシスタントの新機能を試す ● AI/BIの発表：リアルデータに基づくインテリジェント解析の時代へ！ | Databricks Blog ● Databricks AI/BIのウォークスルー ● AI/BI Genieのウォークスルー ● Databricksのインタラクティブデバッガー ● プロの様にDatabricksをナビゲートする