Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricksでのコスト管理
Search
Databricks Japan
April 12, 2024
Technology
0
46
Databricksでのコスト管理
Databricksでのコスト管理について説明します。
Databricks Japan
April 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
180
Databricks アシスタントとは?
databricksjapan
0
40
DatabricksによるRAGアーキテクチャー
databricksjapan
0
17
Databricksの課金体系
databricksjapan
0
19
オープンLLM DBRXについて
databricksjapan
0
18
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
97
45億!増え続けるデータセットと基盤と私
databricksjapan
2
280
Databricks における 『MLOps』
databricksjapan
3
220
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
74
Other Decks in Technology
See All in Technology
Databricksの生成AI戦略
taka_aki
1
330
コードファーストの考え方。 Amplify Gen2から学ぶAWS次世代のWeb開発体験
yoshiitaka
2
590
【TSkaigi】2024/05/11 当日スライド
kimitashoichi
13
3.7k
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
18
4.8k
AWS Observability ベストプラクティス 大紹介
o11yfes2023
0
140
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
410
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
110
Cloudflare WorkersがPythonに対応したので試してみた
miura55
0
180
M5stackで使用できるpHセンサの開発
shinrinakamura
1
300
SWC Transformerから見るTypeScript関数記述ベストプラクティス
fujiyamaorange
1
160
エムスリーQAチーム紹介資料 / Introduction of M3 QA Team
m3_engineering
1
260
cgroup v2 で何が変わったのか / TechFeed Experts Night #28
tenforward
2
150
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
165
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.7k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
The Cult of Friendly URLs
andyhume
74
5.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
10 Git Anti Patterns You Should be Aware of
lemiorhan
649
58k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Designing the Hi-DPI Web
ddemaree
276
33k
The Straight Up "How To Draw Better" Workshop
denniskardys
228
130k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Transcript
©2021 Databricks Inc. — All rights reserved Databricks のコスト管理 1
©2021 Databricks Inc. — All rights reserved クラスタータグによる部門配賦 ▪ 特定のチーム/部門にコストを割り当てるために
Databricksクラスターにクラスタータグを付与するこ とができます ▪ レポートで部門ごとにこれらのコストを容易に可視化 できるように、クラスタータグはBilling Account Consoleに伝播し、ダウンロードしたり、API経由で アクセスできます。 ▪ また、部門で使用されたEC2費用と部門のDBUを関 連づけられるように、クラスタータグはAWS EC2に も伝播します。
©2021 Databricks Inc. — All rights reserved クラスターACLによるクラスター権限管理 ▪ クラスターアクセスコントロールによって、
誰がDatabricksクラスターを作成できるのかを コントロールすることができます。 ▪ きめ細かいクラスターレベルの権限 によって、 クラスターに対してユーザー、グループが 管理、アクセス、再起動できるのかを管理する ことができます。 ▪ これらを組み合わせることで、クラスターの作成権限を クラスターの管理、アクセスの制御できる管理者グルー プに制限することができます。
©2021 Databricks Inc. — All rights reserved クラスターポリシーによる予測可能なコスト ▪ クラスターポリシーによって、クラスターを設定する際に事前定
義済みのルールをユーザーやグループに強制する ことができます。 ▪ ポリシーではクラスターのサイズや、クラスターにおける時間あ たりの最大DBUを制限することができます。 ▪ クラスター作成時に部門配賦のためにタグを自動で強制するこ とができます。 ▪ 部門に対して一貫性のあるコスト管理のために、共有クラス ター、クラスターポリシー、タグを活用することで、それぞれの部 門ごとに最大DBU/時、部門配布が設定されたインタラクティブ クラスターを作成できます。
©2021 Databricks Inc. — All rights reserved その他のコスト管理のテ クニック 5
©2021 Databricks Inc. — All rights reserved クラスターのオートスケーリング ▪ クラスターのオートスケーリングはワークロードに応じてクラスターのサイズを
動的に変更します ▪ 静的サイズが設定され、サイズの小さいクラスターよりも高速に動作できます ▪ 静的にサイズが設定されたクラスターよりも全体的なコストを削減できます
©2021 Databricks Inc. — All rights reserved クラスターの自動停止 ▪ クラスターの自動停止では、コスト削減のために指定された未使用期間を経過した後にクラ
スターを停止します。 ▪ 夜中や週末にアイドル状態のクラスターが動き続けることを避けるために、 アドホック用途のクラスターでは自動停止を有効化しましょう。
©2021 Databricks Inc. — All rights reserved スポットVM ▪ スペア用VMインスタンスには市場価格よりも安いスポットインスタンスを活用しましょう
▪ アドホック/共有クラスターに適しています ▪ 様々なユースケースに合わせたクラスターを容易するために、オンデマンドインスタンスと (カスタムスポット価格の)スポットインスタンスを組み合わせましょう SLA スポットかオンデマンドか ミッションクリティカル ではないジョブ ドライバーはオンデマンド ワーカーはスポット 厳密なSLAを持つワークフロー オンデマンドにフォールバックする スポットインスタンスを活用
©2021 Databricks Inc. — All rights reserved Overwatchによる コストの可視化 9
©2021 Databricks Inc. — All rights reserved Overwatchとは? 10 数百の次元に対する
数千のメトリクスを 利用可能 すべての ワークスペース すべてのDBUを最大化 するために客観的に ROIを計算 ご自身のパターンの 特定、監視、改善 成功の評価 & インパクトの最大化 グローバル 使用量追跡 価値の追跡 ガバナンス お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchとは? 計算資源 /
DBUコスト (推定値) 次元化メトリクス: • ジョブ • クラスター • ノートブック • Spark • etc 11 お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchによるコストの可視化 • 推定スポット価格を持つ計算資源を含む(Spot
Price History API) EC2 + DBU Costs By Day 一つの場所ですべてのワークスペースにおける推定時系列コストを監視 12
©2023 Databricks Inc. — All rights reserved 予算内に治るようにコストを監視し、コスト のスパイクを特定 すべてのDatabricks
SKUに対する価格 sku_nameを用いて容易に使用量テーブルと join リスト価格とすべての契約上のディスカウントを含む ドル観点での費用をレポート コスト管理—価格システムテーブル 13
©2022 Databricks Inc. — All rights reserved 監査ログ (パブリックプレビュー) 監査ログリファレンスにある監査ログイベント
14
©2022 Databricks Inc. — All rights reserved 課金パイプラインを通じて処理されるたびに課金ログを捕 捉します 課金される使用量
(パブリックプレビュー) DBU消費の分析と最適化 15
©2022 Databricks Inc. — All rights reserved 2つのリネージシステムテーブルが存在 : •
system.access.table_lineage • system.access.column_lineage 常にリネージを捕捉できるわけではないので、両方のリ ネージテーブルすべての読み書きイベントのサブセットを表 現。リネージを推定できる場合にのみ レコードは削除されます。 テーブル、列リネージ (パブリックプレビュー) Unity Catalogのデータリネージ機能をベースとすることで、意思決定やレポートを強化 するためにリネージデータをプログラムからクエリー可能 16
©2022 Databricks Inc. — All rights reserved これは高頻度イベントのみのテーブルです。これらのイベン トはアセットの仕様を変更するものではありません。 Create
/ edit / deleteのイベントはQ3 FY24に提供され るウェアハウステーブルの一部となる予定です。 ウェアハウスイベント(プライベートプレビュー) DBSQL管理者によるリソース監視、コスト割り当て、問題のトラブルシュート 17