Databricksハッカソン(Genie/AutoML)

Slide 1

Slide 1 text

Databricks Data Day Databricksを通じた課題解決 2024/7/5 13:30 - 17:30 ○○○○株式会社様

Slide 2

Slide 2 text

アジェンダ ● ハッカソンの目的 ● メンターの紹介 ● スケジュール ● ハッカソンの準備 ● チャレンジ ● クロージング

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved ハッカソンの目的チャレンジをクリアすることでDatabricksへの理解を深めていただきます 1. 御社のデータを対象に、Databricks AI/BIを通じた分析を行うことで、ビジネス洞察を抽出する。 2. 需要予測の実践を通じて、需要予測とは何か、何に注意すべきかを理解いただく。 ● 決められた数名のチームに分かれて、チームで協力してチャレンジを順にクリアしていきます。 ● 各チームにはメンターが居ますので各種サポートをしてくれます。

Slide 4

Slide 4 text

©2024 Databricks Inc. — All rights reserved スケジュール # 時間枠時間枠アジェンダ 1 13:30-13:40 10分開会のご挨拶 2 13:40-13:45 5分 Databricksご紹介 3 13:45-13:50 5分 ○○様ご挨拶 4 13:50-14:50 60分ハッカソン - 座学 5 14:50-15:00 10分休憩 6 15:10-16:10 60分ハッカソン - Databricks AI/BI 7 16:10-17:10 60分ハッカソン - 需要予測 8 17:10-17:25 15分各チーム発表 9 17:25-17:30 5分クロージング 10 19:00- 懇親会

Slide 5

Slide 5 text

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved ハッカソンの準備 ● 事前に準備してあるノートブック「Databricksにおける需要予測」をSharedフォルダからご自身のホームディレクトリにクローンします。 ● 今回のハッカソンでは以下の計算資源を使用します。 ○ サーバレスSQLウェアハウス ○ Personal Computeで作成したMLランタイムクラスター

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved ハッカソンの進め方 ● チーム内で分担(コードを書いて実行する人/アドバイスする人/調査する人)を決めるとスムーズに進みます。ずっと同じ担当ですと疲れるので、タイミングを見計らって交代することをお勧めします。 ● クラスターは事務局によって作成済みのものがあるのでそちらを使ってください。 ● ノートブックの随所に　　　　がありますのでチャレンジしてください。ハッカソンではチームで取り組むことが重要です。

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved AI/BI Genieのセットアップトピックとデータへのフォーカス指示の追加精度の検証 • それぞれのGenieスペースはトピック固有であるべきです • 適切に文書化され、クリーンなUnity Catalog のテーブルとメタデータを取り込みます • 作成者はGenieをガイド、教育することができます • 一般的な指示とサンプルの SQL文 • 作成者や信頼できるビジネスユーザーは期待される回答をテストすることができます • 指示に対して必要な改善を行います

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

©2024 Databricks Inc. — All rights reserved 25 Databricksとの完全な連携統合が提供するシンプルさスタートがシンプル - 作成やデプロイに追加のソフトウェアが不要 - 接続文字列の設定が不要 - SQL不要 - 事前のモデリングが不要繰り返しがシンプル - 維持すべき独立したセマンティックレイヤーなし - 前段の変更を容易に吸収し、新規データを発見できるようにUCと連携スケールがシンプル - 管理すべき抽出処理が不要 (“シャドウ”ウェアハウス不要) - データサイズの制限なし - スケールすべき別のBIサーバが不要配布がシンプル - 広範な利用者に容易に公開 - 同じワークスペースで共有 - サービスアカウントとして実行し、 IDP内で共有することによるワークスペースを越えた共有

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

©2024 Databricks Inc. — All rights reserved 需要予測 GPT-3.5に聞きました：需要予測を簡単に教えてください需要予測は、将来の商品やサービスの需要を予測することです。ビジネスや組織が効率的な在庫管理や生産計画を立てるために活用されます。 1. データ収集 : 過去の売上データや需要データを収集します。このデータは、商品やサービスの販売数量や需要量、時期ごとのパターンなどを含みます。 2. データの分析 : 収集したデータを分析し、トレンドや季節性、特定の影響因子（例えばマーケティングキャンペーン、経済指標の変化など）を特定します。これにより、将来の需要に影響を与える要因を理解します。 3. 予測モデルの選択 : 分析結果を基に、適切な予測モデルを選択します。代表的なモデルには、移動平均法、時系列分析（ARIMAモデル）、機械学習モデル（ランダムフォレスト、ニューラルネットワークなど）があります。 4. モデルの構築 : 選択したモデルを使って、将来の需要を予測します。モデルの構築には、データのトレーニング（過去のデータを使ってモデルを学習させる）とテスト（予測精度を評価する）が含まれます。 5. 予測の精度評価 : 予測結果の精度を評価し、必要に応じてモデルを調整します。これにより、より正確な予測結果を得ることができます。 6. 予測結果の活用 : 最終的な予測結果を基に、在庫管理や生産計画、マーケティング戦略などの意思決定を行います。

Slide 35

Slide 35 text

©2024 Databricks Inc. — All rights reserved 需要予測 GPT-4oに聞きました：需要予測を図を用いて説明してくださいこのグラフは、過去の売上データと移動平均を用いた需要予測の例を示しています。 ● 青い線は、実際の売上データを示しています。各点は特定の日の売上数量です。 ● オレンジ色の点線は、7日間の移動平均を示しています。この線はデータのノイズを平滑化し、トレンドを見やすくしています。 ● 緑の線は、将来の売上を予測した結果を示しています。予測期間は 30日間で、実際のデータと異なる色で示されています。グラフの中央にある灰色の縦線は、過去のデータと予測データの境界を示しています。この縦線の右側が予測期間です。このように、過去の売上データを分析し、移動平均を用いて将来の需要を予測することで、在庫管理や生産計画を効率的に行うことができます。

Slide 36

Slide 36 text

©2024 Databricks Inc. — All rights reserved Databricksにおける需要予測のアプローチデータの分析モデルの選択構築精度評価 ● Databricks AI/BIによるデータ分析 ● Databricksノートブックによるデータ分析 ● Databricksノートブックによるモデル構築 ● Databricks AutoMLによるモデル構築 ● Databricksノートブックによる精度評価 ● Databricks AutoMLによる精度評価

Slide 37

Slide 37 text

©2024 Databricks Inc. — All rights reserved AutoMLとは? Automated machine learning (AutoML)は、機械学習を「民主化」するために完全に自動化されたモデル開発ソリューションです。自動化のスコープに違いはありますが、通常AutoML技術はデータからモデル選択までのMLプロセスを自動化します。データセットの選択自動化されたデータ準備自動化された特徴量エンジニアリング、特徴量選択自動化されたトレーニング、モデル選択自動化されたハイパーパラメータチューニング

Slide 38

Slide 38 text

©2024 Databricks Inc. — All rights reserved AutoMLはデータサイエンティストの 2つのペインポイントを解決しますデータセットのもたらす予測能力をクイックに検証する “このデータセットは顧客解約予測に使えるのか？” マーケティングチームデータサイエンスチームデータセットデータサイエンスチームベースラインモデルデータセット “このMLプロジェクトはどの方向に進むべきか、目指すべきベンチマークは何か?” プロジェクトの方向性をガイドするためのベースラインモデルを取得する

Slide 39

Slide 39 text

©2024 Databricks Inc. — All rights reserved 既存のAutoMLソリューションの問題 AutoMLにおける不透明なボックス・製品化の壁問題問題結果 / ペインポイント 1. 生成された”ベスト”モデルをデプロイの前にドメイン知識に基づいて変更する“製品化の壁”が存在します。 2. 規制対応(FDA、GDPRなど)のためにデータサイエンティストはトレーニングされたモデルを説明できる必要がありますが、多くの AutoMLソリューションは”不透明な箱”モデルとなっています。 ● 生成される”ベスト”モデルがデプロイには不十分なケースが多くあります。 ● モデルを変更、説明できるようにするために、生成された ”不透明な箱”をリバースエンジニアリングする労力を費やさなくてはなりません。 AutoML設定ベストモデル AutoML トレーニング “不透明な箱” ? デプロイされたモデル製品化の壁 ?

Slide 40

Slide 40 text

©2024 Databricks Inc. — All rights reserved Databricks AutoML 管理権限を損なわずにデータチームを強化するガラスボックスソリューション AutoMLトレーニングをスタートするためのUIと API データ探索ノートブック特徴量のサマリー統計情報、分布を示すノートブックを生成再現可能なトライアルノートブック全てのモデルに対応するソースコードを含むノートブックを生成 MLﬂow エクスペリメントモデルとメトリクスを追跡するために自動生成されるMLﬂowエクスペリメントモデルレジストリへのデプロイが容易データ品質、前処理の理解、デバッグ AutoMLのモデルに専門知識を埋め込み精度を改善

Slide 41

Slide 41 text

Slide 42

Slide 42 text

©2024 Databricks Inc. — All rights reserved Databricks AutoML ● クラスター : ご自身のクラスターを選択 ● 機械学習の問題のタイプ : 回帰、分類、予測から選択 ● 入力学習用データセット : トレーニングに使用するDeltaテーブルを選択 ● 予測の場合 ○ 予測ターゲット : 予測する値を格納する列を選択 ○ 時間列: 日時を格納する列を選択 ○ 予測期間と頻度 : どれだけ先の期間を予測するのかを指定 ○ 出力用データベース : 予測結果テーブルを格納するデータベースを指定

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

©2024 Databricks Inc. — All rights reserved ハッカソン - Databricks AI/BI 準備されているデータを対象に以下の分析を行いましょう。 1. AI/BI Genieによるデータ分析 ○ Genieスペースを作成する ○ 必要な設定を行う(指示、サンプル質問など) ○ チームメンバーに共有する ○ 議論しながらGenieに問い合わせを行いデータへの理解を深める 2. AI/BI Dashboardによるデータの可視化 ○ ダッシュボードを作成する ○ 日本語で可視化の指示を行う ○ 必要に応じて手動で調整する ○ ダッシュボードから得られるパターンについて議論する ○ 必要に応じてGenieに戻り問い合わせを行う

Slide 48

Slide 48 text

©2024 Databricks Inc. — All rights reserved ハッカソン - Databricks AI/BI 使用するテーブルは以下の2つとなります。 ● hands_on_202406.hackathon.covid_cases: 日本におけるCOVID-19の感染者数 ● hands_on_202406.hackathon.covid_deaths: 日本におけるCOVID-19の死者数

Slide 49

Slide 49 text

Slide 50

Slide 50 text

©2024 Databricks Inc. — All rights reserved ハッカソン - 需要予測準備されているデータを対象に以下の分析を行いましょう。 1. ノートブックでのデータ分析 2. AI/BI Genieによるデータ分析 ○ 前半で習熟したGenieを活用したデータの理解 3. Databricks AutoMLによる需要予測 ○ AutoMLを実践する ○ AutoMLによって得られた結果について議論する

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

©2024 Databricks Inc. — All rights reserved コラボレーションのTips ● 各人のホームディレクトリにクローンされたノートブックは、デフォルトでは本人しかアクセスできません。 ● しかし、チームで作業したい、デバッグをお願いしたいなど他の方にノートブックを見てもらいたいケースが存在します。 ● Databricks上のアセットは共有可能となっています。その際には、適切な権限設定が必要です。

Slide 54

Slide 54 text

Slide 55

Slide 55 text

ノートブック、 SQLエディタ、ファイルエディタにネイティブで組み込まれた、あなたのデータの文脈を理解する AIアシスタントコードやクエリーの生成、オートコンプリート問題の説明や修正 Unity Catalogと連携することで、あなたのデータ資産の文脈に適した結果を提示 55 Databricksアシスタント

Slide 56

Slide 56 text

アシスタントにアクセスするには右側のアイコンをクリックします。 56 Databricksアシスタントへのアクセス

Slide 57

Slide 57 text

あるいは、セル右上のをクリックします。 57 Databricksアシスタントへのアクセス

Slide 58

Slide 58 text

アシスタントにアクセスするには右側のアイコンをクリックします。 58 Databricksアシスタントへのアクセス表示領域の拡大チャット履歴のクリアプロンプト

Slide 59

Slide 59 text

日本語でアシスタント問い合わせます。 59 Databricksアシスタントへ問い合わせ

Slide 60

Slide 60 text

コードが表示される場合には、ショートカットボタンが表示されます。 60 Databricksアシスタントへ問い合わせ差分表示コードの実行選択しているセルにコードを挿入コードをコピー

Slide 61

Slide 61 text

すでにコードが入力されている場合には、文脈を解して回答します。 61 Databricksアシスタントへ問い合わせ PySpark DataFrameをPandas DataFrameに変換し、 fare_amount列に基づいて dfから最も高価な 10件のトリップを選択するための Pandasコードを生成してください。

Slide 62

Slide 62 text

エラーが発生した際には、診断エラーボタンが表示されます。 62 アシスタントにエラーを修正させる

Slide 63

Slide 63 text

コードを説明してとお願いします。 63 アシスタントにコードを説明させる

Slide 64

Slide 64 text

● できるだけ具体的に指示してください。テーブルを指定し、データがどのようなものであるかを示す例を提供してください。 ● Databricks アシスタントは、テーブルと列のスキーマとメタデータを認識します。これにより、自然言語を使用して非常に正確なクエリーを生成することができます。たとえば、テーブルに列 userID と State がある場合、Databricks アシスタントにワシントンに住むユーザーのリストを生成するよう依頼できます。 ● Databricks アシスタントはテーブルと列のメタデータにのみアクセスでき、行レベルのデータにはアクセスできません。そのため、実際のデータがユニークな形式をしている場合、クエリーを正しく記述できない場合があります。 ● Databricks アシスタントは会話の履歴を考慮するため、会話を進めながら質問を改善していくことができます。 64 アシスタントに問い合わせる際の注意点 https://docs.databricks.com/ja/notebooks/databricks-assistant-faq.html

Slide 65

Slide 65 text

No content