Databricksでのコスト管理

Databricksでのコスト管理について説明します。

Transcript

1. ©2021 Databricks Inc. — All rights reserved Databricks のコスト管理 1
2. ©2021 Databricks Inc. — All rights reserved クラスタータグによる部門配賦 ▪ 特定のチーム/部門にコストを割り当てるために Databricksクラスターにクラスタータグを付与するこ とができます ▪ レポートで部門ごとにこれらのコストを容易に可視化 できるように、クラスタータグはBilling Account Consoleに伝播し、ダウンロードしたり、API経由で アクセスできます。 ▪ また、部門で使用されたEC2費用と部門のDBUを関 連づけられるように、クラスタータグはAWS EC2に も伝播します。
3. ©2021 Databricks Inc. — All rights reserved クラスターACLによるクラスター権限管理 ▪ クラスターアクセスコントロールによって、 誰がDatabricksクラスターを作成できるのかを コントロールすることができます。 ▪ きめ細かいクラスターレベルの権限 によって、 クラスターに対してユーザー、グループが 管理、アクセス、再起動できるのかを管理する ことができます。 ▪ これらを組み合わせることで、クラスターの作成権限を クラスターの管理、アクセスの制御できる管理者グルー プに制限することができます。
4. ©2021 Databricks Inc. — All rights reserved クラスターポリシーによる予測可能なコスト ▪ クラスターポリシーによって、クラスターを設定する際に事前定 義済みのルールをユーザーやグループに強制する ことができます。 ▪ ポリシーではクラスターのサイズや、クラスターにおける時間あ たりの最大DBUを制限することができます。 ▪ クラスター作成時に部門配賦のためにタグを自動で強制するこ とができます。 ▪ 部門に対して一貫性のあるコスト管理のために、共有クラス ター、クラスターポリシー、タグを活用することで、それぞれの部 門ごとに最大DBU/時、部門配布が設定されたインタラクティブ クラスターを作成できます。
5. ©2021 Databricks Inc. — All rights reserved その他のコスト管理のテ クニック 5
6. ©2021 Databricks Inc. — All rights reserved クラスターのオートスケーリング ▪ クラスターのオートスケーリングはワークロードに応じてクラスターのサイズを 動的に変更します ▪ 静的サイズが設定され、サイズの小さいクラスターよりも高速に動作できます ▪ 静的にサイズが設定されたクラスターよりも全体的なコストを削減できます
7. ©2021 Databricks Inc. — All rights reserved クラスターの自動停止 ▪ クラスターの自動停止では、コスト削減のために指定された未使用期間を経過した後にクラ スターを停止します。 ▪ 夜中や週末にアイドル状態のクラスターが動き続けることを避けるために、 アドホック用途のクラスターでは自動停止を有効化しましょう。
8. ©2021 Databricks Inc. — All rights reserved スポットVM ▪ スペア用VMインスタンスには市場価格よりも安いスポットインスタンスを活用しましょう ▪ アドホック/共有クラスターに適しています ▪ 様々なユースケースに合わせたクラスターを容易するために、オンデマンドインスタンスと (カスタムスポット価格の)スポットインスタンスを組み合わせましょう SLA スポットかオンデマンドか ミッションクリティカル ではないジョブ ドライバーはオンデマンド ワーカーはスポット 厳密なSLAを持つワークフロー オンデマンドにフォールバックする スポットインスタンスを活用
9. ©2021 Databricks Inc. — All rights reserved Overwatchによる コストの可視化 9
10. ©2021 Databricks Inc. — All rights reserved Overwatchとは？ 10 数百の次元に対する 数千のメトリクスを 利用可能 すべての ワークスペース すべてのDBUを最大化 するために客観的に ROIを計算 ご自身のパターンの 特定、監視、改善 成功の評価 & インパクトの最大化 グローバル 使用量追跡 価値の追跡 ガバナンス お客様の観測可能性を実現するツール
11. ©2021 Databricks Inc. — All rights reserved Overwatchとは？ 計算資源 / DBUコスト (推定値) 次元化メトリクス: • ジョブ • クラスター • ノートブック • Spark • etc 11 お客様の観測可能性を実現するツール
12. ©2021 Databricks Inc. — All rights reserved Overwatchによるコストの可視化 • 推定スポット価格を持つ計算資源を含む(Spot Price History API) EC2 + DBU Costs By Day 一つの場所ですべてのワークスペースにおける推定時系列コストを監視 12
13. ©2023 Databricks Inc. — All rights reserved 予算内に治るようにコストを監視し、コスト のスパイクを特定 すべてのDatabricks SKUに対する価格 sku_nameを用いて容易に使用量テーブルと join リスト価格とすべての契約上のディスカウントを含む ドル観点での費用をレポート コスト管理—価格システムテーブル 13
14. ©2022 Databricks Inc. — All rights reserved 監査ログ (パブリックプレビュー) 監査ログリファレンスにある監査ログイベント 14
15. ©2022 Databricks Inc. — All rights reserved 課金パイプラインを通じて処理されるたびに課金ログを捕 捉します 課金される使用量 (パブリックプレビュー) DBU消費の分析と最適化 15
16. ©2022 Databricks Inc. — All rights reserved 2つのリネージシステムテーブルが存在 : • system.access.table_lineage • system.access.column_lineage 常にリネージを捕捉できるわけではないので、両方のリ ネージテーブルすべての読み書きイベントのサブセットを表 現。リネージを推定できる場合にのみ レコードは削除されます。 テーブル、列リネージ (パブリックプレビュー) Unity Catalogのデータリネージ機能をベースとすることで、意思決定やレポートを強化 するためにリネージデータをプログラムからクエリー可能 16
17. ©2022 Databricks Inc. — All rights reserved これは高頻度イベントのみのテーブルです。これらのイベン トはアセットの仕様を変更するものではありません。 Create / edit / deleteのイベントはQ3 FY24に提供され るウェアハウステーブルの一部となる予定です。 ウェアハウスイベント(プライベートプレビュー) DBSQL管理者によるリソース監視、コスト割り当て、問題のトラブルシュート 17