ハンズオンで学ぶDatabricks

©2024 Databricks Inc. — All rights reserved ハンズオンで学ぶ Databricks 2024/6/18
生成AIを活用したデータ分析

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明
(やよいたかあき) Databricksソリューションアーキテクト ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

©2024 Databricks Inc. — All rights reserved Learning Spark 2nd
Editionの翻訳 + αの内容となっています！ Apache Spark徹底入門本書は、ビッグデータを主な対象としたデータ分析フレームワークである Apache Spark、MLﬂow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データ AIの実装者が Apache Spark、MLﬂow およびDelta Lakeを使いこなすための解説を行います。 • Python、SQL、Scala、またはJavaの高レベルの構造化 APIの学習 • Spark の操作とSQLエンジンの理解 • Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ • JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 • 構造化ストリーミングを使用してバッチデータとストリーミングデータの分析を実施 • オープンソースのDelta LakeとSparkを使用して信頼性の高いデータパイプラインを構築 • MLlibを使用する機械学習パイプラインの開発、 MLflowを使用するモデルの管理、本番化 • [日本語版オリジナルコンテンツ ]pandas dataframe、spark dataframeに関する各種データフレームの使い分け • [日本語版オリジナルコンテンツ ]LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、 LLMの利用方法の実践

アジェンダ • Databricksの使い方 • Databricksノートブックの活用 • MLﬂowによる機械学習モデルの管理 • 生成AIを活用した機能 •
ハンズオン ◦ Databricksアシスタント ◦ 機械学習モデルのトレーニング ◦ AI/BI Genieスペース ◦ AI/BIダッシュボード

©2024 Databricks Inc. — All rights reserved Databricksワークスペースユーザーアイコンユーザー設定
サイドメニュー

©2024 Databricks Inc. — All rights reserved Databricksクラスター Best Practice
Databricksにおける一番無駄なコストは「使っていないクラスターを起動しておく」ことです。自動停止の設定を活用しましょう。

©2024 Databricks Inc. — All rights reserved ノートブックをクラスターにアタッチ Best Practice
プログラムを実行する際にのみクラスターが必要となります。プログラムの修正を行う際はクラスターは不要です。

©2024 Databricks Inc. — All rights reserved ノートブックお気に入りセル番号:
セルタイトル言語削除アシスタントフォーカスモードセルメニューセルの並び替えセルの折り畳みセルの実行実行メニュー

©2024 Databricks Inc. — All rights reserved お気に入り後からクイックにアクセスできるようになります Best
Practice お気に入りはノートブック以外のフォルダ、データベース、テーブル、モデルなどでも設定できます。

©2024 Databricks Inc. — All rights reserved フォーカスモード Best Practice
特定のセルにフォーカスできるので、複雑なロジックに集中したい場合には活用しましょう特定のセルとのその出力のみを表示します

©2024 Databricks Inc. — All rights reserved マークダウン Best Practice
セルの先頭に%mdを記述、あるいは言語セレクターでマークダウンを記述できます。他の方がロジックを理解できる様に説明文を記載します

©2024 Databricks Inc. — All rights reserved セルタイトル Best Practice
セルタイトルの隣のアシスタントボタンでタイトルを自動生成できます。

©2024 Databricks Inc. — All rights reserved Databricksにおける機械学習 MLライフサイクル全体に対するデータネイティブ、コラボレーティブなソリューションによるオープンなデータレイクハウス基盤
MLOps / ガバナンスデータ準備データのバージョン管理モニタリングバッチスコアリングオンラインサービングモデルトレーニングモデルチューニングランタイム環境 Feature Store バッチ (高スループット) リアルタイム (低レーテンシー) AutoML データサイエンスワークスペース

©2024 Databricks Inc. — All rights reserved モデルトラッキングフレーバー2
フレーバー 1 カスタムモデルインラインコードコンテナバッチ&ストリーミングスコアリングクラウド推論サービス OSSサービングソリューション Serving Parameters Metrics Artifacts Models Metadata デプロイメントオプションステージングプロダクションアーカイブデータサイエンティストデプロイメントエンジニア v2 v3 v1 モデルレジストリ MLﬂow

©2024 Databricks Inc. — All rights reserved Powered by データガバナンス
エクスペリメントのトラッキング再現性の確保モデルガバナンスパラメーターメトリクスモデルアーティファクト MLメトリクス、パラメーター、アーティファクトなどの自動キャプチャ

ノートブック、 SQLエディタ、ファイルエディタにネイティブで組み込まれた、あなたのデータの文脈を理解する AIアシスタントコードやクエリーの生成、オートコンプリート問題の説明や修正 Unity Catalogと連携することで、
あなたのデータ資産の文脈に適した結果を提示 38 Databricksアシスタント

©2022 Databricks Inc. — All rights reserved AI/BIダッシュボード • 最終的にはDBSQL(とノートブック)のダッシュボードを置き換える次世代ダッシュ
ボード • 現時点ではDQSQLダッシュボードと並行稼働していますが、最終的には来年以降にDBSQLダッシュボードを廃止します • ノートブックダッシュボードの置き換えはそれよりも少し後になります • キーとなる違い • 整理されたコンテンツモデル • モダンなビジュアライゼーションライブラリ & 設定体験 • 組織内 / ワークスペース外に配布する機能 • 検索、リネージ & アシスタントとのインテグレーション

©2024 Databricks Inc. — All rights reserved AI/BI Genie 41
• ビジネスユーザー向けの自然言語によるAI支援検索 • AIが生成する検索提案、パーソナライズされた回答 • ボタンのクリックでデータをチャート可視化 • DatabricksのSQLウェアハウスがアクセスするデータで強化 • プライベートプレビュー中

最新機能を利用できるように設定を行います。ワークスペース右上のユーザーアイコンをクリックし、設定を選択します。 43 事前準備

ユーザー > 開発者の新しい AssistantのUIをオンにします。 44 事前準備

アシスタントにアクセスするにはアイコンをクリックします。 45 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらはワークスペースで動作します。 46 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 50 Databricksアシスタントへのアクセス

アシスタントはワークスペース全体で動作するものとノートブックセルを対象にするものがあります。こちらは当該セルを対象に動作します。 51 Databricksアシスタントへのアクセス

日本語でアシスタントに問い合わせます。 52 Databricksアシスタントへ問い合わせ

アシスタントで以下の問い合わせを行いましょう。ノートブックを作成し、稼働しているクラスターにアタッチしてください。 53 Databricksアシスタントへ問い合わせこちらが我々のデータセットの Titleカラムの例です : 1. The Shawshank
Redemption (1994) タイトル名は数とカッコの間です。公開日はカッコの間です。公開日とタイトル名を抽出する関数を書いてください。

コードが表示される場合には、ショートカットボタンが表示されます。 54 Databricksアシスタントへ問い合わせ差分表示コードの実行選択しているセルにコードを挿入コードをコピー

すでにコードが入力されている場合には、文脈を解して回答します。 55 Databricksアシスタントへ問い合わせ PySpark DataFrameをPandas DataFrameに変換し、 fare_amount列に基づいて dfから最も高価な 10件のトリップを選択するための
Pandasコードを生成してください。

ノートブックのセルに以下を記入し、セルが選択されている状態にします。 56 Databricksアシスタントへ問い合わせセルが選択されている状態でアシスタントに以下の問い合わせを行います。 import pandas as pd # テーブル
"samples.nyctaxi.trips" からデータを読み込む df = spark.read.table("samples.nyctaxi.trips") PySpark DataFrameをPandas DataFrameに変換し、 fare_amount列に基づいてdfから最も高価な 10件のトリップを選択して表示するための Pandasコードを生成してください。

エラーが発生した際には、診断エラーボタンが表示されます。 57 アシスタントにエラーを修正させる

以下のセルを実行してエラーを起こし、アシスタントに助けてもらいましょう。 58 アシスタントにエラーを修正させる string[::-1]

コードを説明してとお願いします。 59 アシスタントにコードを説明させる

• できるだけ具体的に指示してください。テーブルを指定し、データがどのようなものであるかを示す例を提供してください。 • Databricks アシスタントは、テーブルと列のスキーマとメタデータを認識します。これにより、自然言語を使用して非常に正確なクエリーを生成することができます。たとえば、テーブルに列
userID と State がある場合、 Databricks アシスタントにワシントンに住むユーザーのリストを生成するよう依頼できます。 • Databricks アシスタントはテーブルと列のメタデータにのみアクセスでき、行レベルのデータにはアクセスできません。そのため、実際のデータがユニークな形式をしている場合、クエリーを正しく記述できない場合があります。 • Databricks アシスタントは会話の履歴を考慮するため、会話を進めながら質問を改善していくことができます。 60 アシスタントに問い合わせる際の注意点 https://docs.databricks.com/ja/notebooks/databricks-assistant-faq.html

サイドメニューのワークスペースにアクセスし、画面右上の3点リーダーをクリックし、インポートを選択します。 62 ノートブックのインポート

URLを選択し、URLのボックスに以下のURLを貼り付けます。 63 ノートブックのインポート https://sajpstorage.blob.core.windows.net/yayoi/20240611_handson/Databricks%E3%81%AB%E3%81%8A %E3%81%91%E3%82%8B%E3%82%A8%E3%83%B3%E3%83%88%E3%82%99%E3%83%84%E3%83%BC%E3 %82%A8%E3%83%B3%E3%83%88%E3%82%99%E3%81%AE%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%B F%92.html

▪ サイドメニューからクラスターを選択しますクラスターの作成

▪ Personal Computeで作成をクリックしますクラスターの作成

▪ コンピューティングを作成をクリックします ▪ クラスターの起動には5分程度要しますのでお待ちください。クラスターの作成

▪ クラスター名の右のインジケータがになれば、起動が完了したことになります。クラスターの作成

▪ ノートブックを開き、右上の接続をクリックしますノートブックをクラスターにアタッチ

▪ 先ほど起動したクラスターを選択しますノートブックをクラスターにアタッチ

▪ これでハンズオンの準備が整いました！ノートブックをクラスターにアタッチ

サイドメニューのGenieをクリックします。 72 事前準備

Newをクリックします。 73 事前準備

Titleにはご自身の名前を含むデータルームの名称、Default warehouseではウェアハウスguest_warehouseを選択します。 74 事前準備

Add tablesをクリックし、Catalogで対象カタログ、Schemaでdefault、一覧表示されるテーブルから対象テーブルを選択します。選択したら右上の✖をクリックします。 75 事前準備

Saveをクリックします。 76 事前準備

これで準備が整ったので日本語で問い合わせてみましょう！ 77 事前準備

これで準備が整ったので日本語で問い合わせてみましょう！ 78 事前準備

サイドメニューのダッシュボードをクリックします。 80 事前準備

ダッシュボードを作成をクリックします。 81 事前準備

ダッシュボード作成画面が表示されます。データタブをクリックします。 82 事前準備

テーブルを選択をクリックします。 83 事前準備

Add tablesをクリックし、Catalogで対象カタログ、Schemaでdefault、一覧表示されるテーブルから対象テーブルをクリックします。 84 事前準備

テーブルの中身が表示されます。Canvasタブをクリックします。 85 事前準備

これでダッシュボードを作成する準備が整ったので作成していきましょう。 86 事前準備

参考資料 • Databricksノートブックでコードを開発する | Databricks on AWS • Databricksベストプラクティス：ノートブックのモジュール化 •
Databricksにおける機械学習モデル構築のエンドツーエンドのサンプル • Databricksアシスタントの新機能を試す • AI/BIの発表：リアルデータに基づくインテリジェント解析の時代へ！ | Databricks Blog • Databricks AI/BIのウォークスルー • AI/BI Genieのウォークスルー • Databricksのインタラクティブデバッガー • プロの様にDatabricksをナビゲートする

ハンズオンで学ぶDatabricks

ハンズオンで学ぶDatabricks

More Decks by Takaaki Yayoi

Other Decks in Technology

Featured

Transcript