Databricks勉強会：Databricksのベストプラクティス

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved 勉強会アジェンダ # アジェンダ時間枠説明 1 Databricksのベストプラクティス 2時間 ● 座学＋ハンズオン ● Databricksワークスペースの使い方のウォークスルー ● ノートブックやクラスターのベストプラクティス 2 Databricksにおけるプログラミング 2時間 ● 座学＋ハンズオン ● SQL基礎 ● PySpark基礎 3 Databricksの高度な使い方 (その1) 2時間 ● Unity Catalog詳細 ● Databricksワークフロー(ジョブ)詳細 ● Databricks Asset Bundlesによるインフラ管理 4 Databricksの高度な使い方 (その2) 2時間 ● LLM関連機能のウォークスルー ● サードパーティツールとの連携

Slide 4

Slide 4 text

アジェンダ ● Databricksの使い方 ● Databricksのベストプラクティス ○ ユーザー設定 ○ 検索機能 ○ ノートブックの活用 ○ コラボレーション ○ Databricksアシスタントの活用

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

サイドメニューのワークスペースにアクセスし、画面右上の3点リーダーをクリックし、インポートを選択します。 49 ノートブックのインポート

Slide 50

Slide 50 text

URLを選択し、URLのボックスに以下のURLを貼り付けます。 50 ノートブックのインポート https://sajpstorage.blob.core.windows.net/yayoi/20240527/COVID-19%E6%84%9F%E6%9F%93%E8%80% 85%E6%95%B0%E5%88%86%E6%9E%90.html

Slide 51

Slide 51 text

Slide 52

Slide 52 text

ノートブック、SQLエディタ、ファイルエディタにネイティブで組み込まれた、あなたのデータの文脈を理解するAIアシスタントコードやクエリーの生成、オートコンプリート問題の説明や修正 Unity Catalogと連携することで、あなたのデータ資産の文脈に適した結果を提示 52 Databricksアシスタント

Slide 53

Slide 53 text

最新機能を利用できるように設定を行います。ワークスペース右上のユーザーアイコンをクリックし、設定を選択します。 53 事前準備

Slide 54

Slide 54 text

ユーザー > 開発者の新しいAssistantのUIをオンにします。 54 事前準備

Slide 55

Slide 55 text

アシスタントにアクセスするにはアイコンをクリックします。 55 Databricksアシスタントへのアクセス

Slide 56

Slide 56 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 56 Databricksアシスタントへのアクセス

Slide 57

Slide 57 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 57 Databricksアシスタントへのアクセス

Slide 58

Slide 58 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 58 Databricksアシスタントへのアクセス

Slide 59

Slide 59 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 59 Databricksアシスタントへのアクセス

Slide 60

Slide 60 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 60 Databricksアシスタントへのアクセス

Slide 61

Slide 61 text

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 61 Databricksアシスタントへのアクセス

Slide 62

Slide 62 text

日本語でアシスタントに問い合わせます。 62 Databricksアシスタントへ問い合わせ

Slide 63

Slide 63 text

アシスタントで以下の問い合わせを行いましょう。ノートブックを作成し、稼働しているクラスターにアタッチしてください。 63 Databricksアシスタントへ問い合わせこちらが我々のデータセットのTitleカラムの例です: 1. The Shawshank Redemption (1994) タイトル名は数とカッコの間です。公開日はカッコの間です。公開日とタイトル名を抽出する関数を書いてください。

Slide 64

Slide 64 text

コードが表示される場合には、ショートカットボタンが表示されます。 64 Databricksアシスタントへ問い合わせ差分表示コードの実行選択しているセルにコードを挿入コードをコピー

Slide 65

Slide 65 text

すでにコードが入力されている場合には、文脈を解して回答します。 65 Databricksアシスタントへ問い合わせ PySpark DataFrameをPandas DataFrameに変換し、fare_amount列に基づいてdfから最も高価な10件のトリップを選択するためのPandasコードを生成してください。

Slide 66

Slide 66 text

ノートブックのセルに以下を記入し、セルが選択されている状態にします。 66 Databricksアシスタントへ問い合わせセルが選択されている状態でアシスタントに以下の問い合わせを行います。 import pandas as pd # テーブル "samples.nyctaxi.trips" からデータを読み込む df = spark.read.table("samples.nyctaxi.trips") PySpark DataFrameをPandas DataFrameに変換し、fare_amount列に基づいてdfから最も高価な10件のトリップを選択して表示するためのPandasコードを生成してください。

Slide 67

Slide 67 text

エラーが発生した際には、診断エラーボタンが表示されます。 67 アシスタントにエラーを修正させる

Slide 68

Slide 68 text

以下のセルを実行してエラーを起こし、アシスタントに助けてもらいましょう。 68 アシスタントにエラーを修正させる string[::-1]

Slide 69

Slide 69 text

コードを説明してとお願いします。 69 アシスタントにコードを説明させる

Slide 70

Slide 70 text

● できるだけ具体的に指示してください。テーブルを指定し、データがどのようなものであるかを示す例を提供してください。 ● Databricks アシスタントは、テーブルと列のスキーマとメタデータを認識します。これにより、自然言語を使用して非常に正確なクエリーを生成することができます。たとえば、テーブルに列 userID と State がある場合、 Databricks アシスタントにワシントンに住むユーザーのリストを生成するよう依頼できます。 ● Databricks アシスタントはテーブルと列のメタデータにのみアクセスでき、行レベルのデータにはアクセスできません。そのため、実際のデータがユニークな形式をしている場合、クエリーを正しく記述できない場合があります。 ● Databricks アシスタントは会話の履歴を考慮するため、会話を進めながら質問を改善していくことができます。 70 アシスタントに問い合わせる際の注意点 https://docs.databricks.com/ja/notebooks/databricks-assistant-faq.html

Slide 71

Slide 71 text

その他の機能: メタデータの提案

Slide 72

Slide 72 text

参考資料 ● Databricksノートブックでコードを開発する | Databricks on AWS ● Databricksベストプラクティス：ノートブックのモジュール化 ● Databricksアシスタントの新機能を試す ● Databricksのインタラクティブデバッガー ● プロの様にDatabricksをナビゲートする

Slide 73

Slide 73 text