Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricksでのコスト管理
Search
Databricks Japan
April 12, 2024
Technology
0
47
Databricksでのコスト管理
Databricksでのコスト管理について説明します。
Databricks Japan
April 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
220
Databricks アシスタントとは?
databricksjapan
0
69
DatabricksによるRAGアーキテクチャー
databricksjapan
0
27
Databricksの課金体系
databricksjapan
0
29
オープンLLM DBRXについて
databricksjapan
0
27
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
110
45億!増え続けるデータセットと基盤と私
databricksjapan
2
300
Databricks における 『MLOps』
databricksjapan
3
230
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
75
Other Decks in Technology
See All in Technology
株式会社EventHub・エンジニア採用資料
eventhub
0
2.1k
データベース04: SQL (1/3) 単純質問 & 集約演算
trycycle
0
180
TailwindCSSでUIライブラリを作る際のハマりどころ
shuta13
0
230
1Q86
kawaguti
PRO
2
200
Deno で作る快適な “as Code” プラットフォーム – TSKaigi 2024
pizzacat83
4
330
Step by Stepで学ぶ、ADT(代数的データ型)、モナドからEffect-TSまで
leveragestech
1
3.3k
スクラムに出会って「できた」を実感できるようになってきた話 / Scrum makes me feel like I can do it
yayoi_dd
2
120
YJIT Makes Rails 1.7x faster / RubyKaigi 2024
k0kubun
4
640
Google Cloud Next '24 Recap in ZOZO AIにより変わる開発 運用/Development and operation changed by AI
gachimuchiengineer
0
260
ハードウェアを動かすTypeScriptの世界
9wick
3
1.2k
サービス開発におけるVue3とTypeScriptの親和性について
tsukuha
10
1.8k
「できる!」を増やすGitHub Copilot活用法 / How to use GitHub Copilot to expand your possibilities
sansan_randd
1
250
Featured
See All Featured
Web Components: a chance to create the future
zenorocha
306
41k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Clear Off the Table
cherdarchuk
86
310k
The Cult of Friendly URLs
andyhume
74
5.7k
It's Worth the Effort
3n
180
27k
Infographics Made Easy
chrislema
238
18k
YesSQL, Process and Tooling at Scale
rocio
165
13k
Why Our Code Smells
bkeepers
PRO
331
56k
4 Signs Your Business is Dying
shpigford
176
21k
Transcript
©2021 Databricks Inc. — All rights reserved Databricks のコスト管理 1
©2021 Databricks Inc. — All rights reserved クラスタータグによる部門配賦 ▪ 特定のチーム/部門にコストを割り当てるために
Databricksクラスターにクラスタータグを付与するこ とができます ▪ レポートで部門ごとにこれらのコストを容易に可視化 できるように、クラスタータグはBilling Account Consoleに伝播し、ダウンロードしたり、API経由で アクセスできます。 ▪ また、部門で使用されたEC2費用と部門のDBUを関 連づけられるように、クラスタータグはAWS EC2に も伝播します。
©2021 Databricks Inc. — All rights reserved クラスターACLによるクラスター権限管理 ▪ クラスターアクセスコントロールによって、
誰がDatabricksクラスターを作成できるのかを コントロールすることができます。 ▪ きめ細かいクラスターレベルの権限 によって、 クラスターに対してユーザー、グループが 管理、アクセス、再起動できるのかを管理する ことができます。 ▪ これらを組み合わせることで、クラスターの作成権限を クラスターの管理、アクセスの制御できる管理者グルー プに制限することができます。
©2021 Databricks Inc. — All rights reserved クラスターポリシーによる予測可能なコスト ▪ クラスターポリシーによって、クラスターを設定する際に事前定
義済みのルールをユーザーやグループに強制する ことができます。 ▪ ポリシーではクラスターのサイズや、クラスターにおける時間あ たりの最大DBUを制限することができます。 ▪ クラスター作成時に部門配賦のためにタグを自動で強制するこ とができます。 ▪ 部門に対して一貫性のあるコスト管理のために、共有クラス ター、クラスターポリシー、タグを活用することで、それぞれの部 門ごとに最大DBU/時、部門配布が設定されたインタラクティブ クラスターを作成できます。
©2021 Databricks Inc. — All rights reserved その他のコスト管理のテ クニック 5
©2021 Databricks Inc. — All rights reserved クラスターのオートスケーリング ▪ クラスターのオートスケーリングはワークロードに応じてクラスターのサイズを
動的に変更します ▪ 静的サイズが設定され、サイズの小さいクラスターよりも高速に動作できます ▪ 静的にサイズが設定されたクラスターよりも全体的なコストを削減できます
©2021 Databricks Inc. — All rights reserved クラスターの自動停止 ▪ クラスターの自動停止では、コスト削減のために指定された未使用期間を経過した後にクラ
スターを停止します。 ▪ 夜中や週末にアイドル状態のクラスターが動き続けることを避けるために、 アドホック用途のクラスターでは自動停止を有効化しましょう。
©2021 Databricks Inc. — All rights reserved スポットVM ▪ スペア用VMインスタンスには市場価格よりも安いスポットインスタンスを活用しましょう
▪ アドホック/共有クラスターに適しています ▪ 様々なユースケースに合わせたクラスターを容易するために、オンデマンドインスタンスと (カスタムスポット価格の)スポットインスタンスを組み合わせましょう SLA スポットかオンデマンドか ミッションクリティカル ではないジョブ ドライバーはオンデマンド ワーカーはスポット 厳密なSLAを持つワークフロー オンデマンドにフォールバックする スポットインスタンスを活用
©2021 Databricks Inc. — All rights reserved Overwatchによる コストの可視化 9
©2021 Databricks Inc. — All rights reserved Overwatchとは? 10 数百の次元に対する
数千のメトリクスを 利用可能 すべての ワークスペース すべてのDBUを最大化 するために客観的に ROIを計算 ご自身のパターンの 特定、監視、改善 成功の評価 & インパクトの最大化 グローバル 使用量追跡 価値の追跡 ガバナンス お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchとは? 計算資源 /
DBUコスト (推定値) 次元化メトリクス: • ジョブ • クラスター • ノートブック • Spark • etc 11 お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchによるコストの可視化 • 推定スポット価格を持つ計算資源を含む(Spot
Price History API) EC2 + DBU Costs By Day 一つの場所ですべてのワークスペースにおける推定時系列コストを監視 12
©2023 Databricks Inc. — All rights reserved 予算内に治るようにコストを監視し、コスト のスパイクを特定 すべてのDatabricks
SKUに対する価格 sku_nameを用いて容易に使用量テーブルと join リスト価格とすべての契約上のディスカウントを含む ドル観点での費用をレポート コスト管理—価格システムテーブル 13
©2022 Databricks Inc. — All rights reserved 監査ログ (パブリックプレビュー) 監査ログリファレンスにある監査ログイベント
14
©2022 Databricks Inc. — All rights reserved 課金パイプラインを通じて処理されるたびに課金ログを捕 捉します 課金される使用量
(パブリックプレビュー) DBU消費の分析と最適化 15
©2022 Databricks Inc. — All rights reserved 2つのリネージシステムテーブルが存在 : •
system.access.table_lineage • system.access.column_lineage 常にリネージを捕捉できるわけではないので、両方のリ ネージテーブルすべての読み書きイベントのサブセットを表 現。リネージを推定できる場合にのみ レコードは削除されます。 テーブル、列リネージ (パブリックプレビュー) Unity Catalogのデータリネージ機能をベースとすることで、意思決定やレポートを強化 するためにリネージデータをプログラムからクエリー可能 16
©2022 Databricks Inc. — All rights reserved これは高頻度イベントのみのテーブルです。これらのイベン トはアセットの仕様を変更するものではありません。 Create
/ edit / deleteのイベントはQ3 FY24に提供され るウェアハウステーブルの一部となる予定です。 ウェアハウスイベント(プライベートプレビュー) DBSQL管理者によるリソース監視、コスト割り当て、問題のトラブルシュート 17