Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricksでのコスト管理
Search
Databricks Japan
April 12, 2024
Technology
0
91
Databricksでのコスト管理
Databricksでのコスト管理について説明します。
Databricks Japan
April 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
生成AIとレイクハウス・ガバナンス
databricksjapan
0
19
データプロダクトにおけるCI/CD: Databricks Asset Bundleとは?
databricksjapan
0
33
Databricks クリーンルームについてのご紹介
databricksjapan
0
66
Unity Catalog データ分離設計ガイド / Unity Catalog Data Isolation Design Guide
databricksjapan
1
240
機械学習モデルの運用と実用的なアプローチ
databricksjapan
0
540
Unity Catalogの自動有効化
databricksjapan
1
73
Unity Catalog 技術ディープダイブ
databricksjapan
1
310
パフォーマンス最適化のベストプラクティス
databricksjapan
0
1.4k
Databricks アシスタントとは?
databricksjapan
0
150
Other Decks in Technology
See All in Technology
「単なる OAuth 2.0 を認証に使うと、車が通れるほどのどでかいセキュリティー・ホールができる」のか検証してみた
terara
0
380
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
ここがすごいよ! AWS Systems Manager!
saichan11
0
1.8k
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
910
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.2k
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
Scaling Technical Excellence at 104: Evolution in AWS and Developer Empowerment
scotthsieh825
1
150
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
517
39k
Designing the Hi-DPI Web
ddemaree
276
34k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
For a Future-Friendly Web
brad_frost
173
9.2k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
Robots, Beer and Maslow
schacon
PRO
157
8.1k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
Embracing the Ebb and Flow
colly
81
4.3k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Done Done
chrislema
179
15k
Making the Leap to Tech Lead
cromwellryan
127
8.7k
Transcript
©2021 Databricks Inc. — All rights reserved Databricks のコスト管理 1
©2021 Databricks Inc. — All rights reserved クラスタータグによる部門配賦 ▪ 特定のチーム/部門にコストを割り当てるために
Databricksクラスターにクラスタータグを付与するこ とができます ▪ レポートで部門ごとにこれらのコストを容易に可視化 できるように、クラスタータグはBilling Account Consoleに伝播し、ダウンロードしたり、API経由で アクセスできます。 ▪ また、部門で使用されたEC2費用と部門のDBUを関 連づけられるように、クラスタータグはAWS EC2に も伝播します。
©2021 Databricks Inc. — All rights reserved クラスターACLによるクラスター権限管理 ▪ クラスターアクセスコントロールによって、
誰がDatabricksクラスターを作成できるのかを コントロールすることができます。 ▪ きめ細かいクラスターレベルの権限 によって、 クラスターに対してユーザー、グループが 管理、アクセス、再起動できるのかを管理する ことができます。 ▪ これらを組み合わせることで、クラスターの作成権限を クラスターの管理、アクセスの制御できる管理者グルー プに制限することができます。
©2021 Databricks Inc. — All rights reserved クラスターポリシーによる予測可能なコスト ▪ クラスターポリシーによって、クラスターを設定する際に事前定
義済みのルールをユーザーやグループに強制する ことができます。 ▪ ポリシーではクラスターのサイズや、クラスターにおける時間あ たりの最大DBUを制限することができます。 ▪ クラスター作成時に部門配賦のためにタグを自動で強制するこ とができます。 ▪ 部門に対して一貫性のあるコスト管理のために、共有クラス ター、クラスターポリシー、タグを活用することで、それぞれの部 門ごとに最大DBU/時、部門配布が設定されたインタラクティブ クラスターを作成できます。
©2021 Databricks Inc. — All rights reserved その他のコスト管理のテ クニック 5
©2021 Databricks Inc. — All rights reserved クラスターのオートスケーリング ▪ クラスターのオートスケーリングはワークロードに応じてクラスターのサイズを
動的に変更します ▪ 静的サイズが設定され、サイズの小さいクラスターよりも高速に動作できます ▪ 静的にサイズが設定されたクラスターよりも全体的なコストを削減できます
©2021 Databricks Inc. — All rights reserved クラスターの自動停止 ▪ クラスターの自動停止では、コスト削減のために指定された未使用期間を経過した後にクラ
スターを停止します。 ▪ 夜中や週末にアイドル状態のクラスターが動き続けることを避けるために、 アドホック用途のクラスターでは自動停止を有効化しましょう。
©2021 Databricks Inc. — All rights reserved スポットVM ▪ スペア用VMインスタンスには市場価格よりも安いスポットインスタンスを活用しましょう
▪ アドホック/共有クラスターに適しています ▪ 様々なユースケースに合わせたクラスターを容易するために、オンデマンドインスタンスと (カスタムスポット価格の)スポットインスタンスを組み合わせましょう SLA スポットかオンデマンドか ミッションクリティカル ではないジョブ ドライバーはオンデマンド ワーカーはスポット 厳密なSLAを持つワークフロー オンデマンドにフォールバックする スポットインスタンスを活用
©2021 Databricks Inc. — All rights reserved Overwatchによる コストの可視化 9
©2021 Databricks Inc. — All rights reserved Overwatchとは? 10 数百の次元に対する
数千のメトリクスを 利用可能 すべての ワークスペース すべてのDBUを最大化 するために客観的に ROIを計算 ご自身のパターンの 特定、監視、改善 成功の評価 & インパクトの最大化 グローバル 使用量追跡 価値の追跡 ガバナンス お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchとは? 計算資源 /
DBUコスト (推定値) 次元化メトリクス: • ジョブ • クラスター • ノートブック • Spark • etc 11 お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchによるコストの可視化 • 推定スポット価格を持つ計算資源を含む(Spot
Price History API) EC2 + DBU Costs By Day 一つの場所ですべてのワークスペースにおける推定時系列コストを監視 12
©2023 Databricks Inc. — All rights reserved 予算内に治るようにコストを監視し、コスト のスパイクを特定 すべてのDatabricks
SKUに対する価格 sku_nameを用いて容易に使用量テーブルと join リスト価格とすべての契約上のディスカウントを含む ドル観点での費用をレポート コスト管理—価格システムテーブル 13
©2022 Databricks Inc. — All rights reserved 監査ログ (パブリックプレビュー) 監査ログリファレンスにある監査ログイベント
14
©2022 Databricks Inc. — All rights reserved 課金パイプラインを通じて処理されるたびに課金ログを捕 捉します 課金される使用量
(パブリックプレビュー) DBU消費の分析と最適化 15
©2022 Databricks Inc. — All rights reserved 2つのリネージシステムテーブルが存在 : •
system.access.table_lineage • system.access.column_lineage 常にリネージを捕捉できるわけではないので、両方のリ ネージテーブルすべての読み書きイベントのサブセットを表 現。リネージを推定できる場合にのみ レコードは削除されます。 テーブル、列リネージ (パブリックプレビュー) Unity Catalogのデータリネージ機能をベースとすることで、意思決定やレポートを強化 するためにリネージデータをプログラムからクエリー可能 16
©2022 Databricks Inc. — All rights reserved これは高頻度イベントのみのテーブルです。これらのイベン トはアセットの仕様を変更するものではありません。 Create
/ edit / deleteのイベントはQ3 FY24に提供され るウェアハウステーブルの一部となる予定です。 ウェアハウスイベント(プライベートプレビュー) DBSQL管理者によるリソース監視、コスト割り当て、問題のトラブルシュート 17