Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Ottertune】MLでDBを最適化するツールの紹介
Search
Hank Ehly
August 25, 2022
Technology
1
840
【Ottertune】MLでDBを最適化するツールの紹介
Hank Ehly
August 25, 2022
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
360
Celeryの紹介と本番運用のTips
hankehly
0
350
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.1k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
180
Deferrable Operators入門
hankehly
0
280
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
310
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
200
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
170
システム/データ品質保証のための Airflow 活用法
hankehly
0
460
Other Decks in Technology
See All in Technology
20240724_cm_odyssey_hibiyatech
hiashisan
0
110
楽しくGoを学び合う、LayerXの勉強会文化 / LayerX's study culture of having fun and learning Go together
ar_tama
2
350
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
150
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
OSSコミットしてZennの課題を解決した話
dyoshikawa1993
0
150
可視化プラットフォームGrafanaの基本と活用方法の全て
hamadakoji
0
230
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
900
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
セキュリティ研修 Day1【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
150
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
121
18k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
Building an army of robots
kneath
301
42k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
Build The Right Thing And Hit Your Dates
maggiecrowley
28
2.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
224
21k
Happy Clients
brianwarren
94
6.5k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Testing 201, or: Great Expectations
jmmastey
33
6.9k
Transcript
【Ottertune】MLでDBを最適化する ツールの紹介
自己紹介 • Hank Ehly (ハンク イーリー) • ENECHANGE株式会社 • qiita.com/hankehly
• github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. DBチューニングの問題点 2. OtterTuneとは 3. 営業とのQ&A
AWS RDSとは • マネージド PostgreSQL、MySQL、... • バージョン更新 / バックアップ等 自動化される
• デフォルトパラメータ • DBの使われ方に最適化されていない
DBチューニングの問題点 • RDBの費用を抑えて性能を最適化したいよね? (A) PostgreSQLの内部の専門的な知識 (B) 試行錯誤でパラメータ変更を繰り返し、最適化されるまで、パフォーマンスへの 影響を検証する時間 (私はどちらも持っていない) •
本来より高いクラウドコストを支払っていて、低いパフォーマンスしか出せていない
OtterTuneとは AWS の RDS と連携し、PostgreSQL と MySQL の設定項目を機械学習で最適化する SaaS プロダクト
1. 接続 • OtterTuneアカウント作成 • Agentをデプロイする 2. メトリック取得 • DB のハードウェア、パラメータ、メトリクス情報を 定期的に取得する • データやクエリーを見ない 3. 最適化 • ユーザーが設定した目標に向けて、 DB の設定を機械学習で最適化していく
①今この設定だよ ②多分これに変えたら パフォーマンス上がるよ ③どうする?
営業とのQ&A 1. どんな情報を取得するか • 数値、カウンター、レイテンシー情報 • PostgreSQL Statistics Collector •
CloudWatchメトリック(CPU使用率など) • クエリーの内容/スキーマは取得されません 2. RDSとどう接続するか • Agentをデプロイする(Fargate) • 公式 CloudFormation / Terraform
module "ottertune-iam" { source = "ottertune/ottertune-iam/aws" version = "0.0.6" external_id
= "***" } (Terraform)
営業とのQ&A 3. 設定変更によるダウンタイムはあるか • 設定変更によるダウンタイムは今まで発生したことがないそうです • 変更すると再起動が必要な設定はあるけど、事前に分かるもののみ 4. 日本語対応(ダッシュボード /
サポート等) ない 5. 設定変更は自動なのか、人がやるのか • どちらも対応している • 完全に自動化できる • 人間が変更内容を見てボタンクリックで適用することもできる(human in the loop と呼ぶ)
営業とのQ&A 6. 設定変更はどの頻度で行われるか • 調整できるけど、24時間に1回が推奨される • 大体20回目のイテレーションで、パフォーマンスチューニングがMAXに到達する
営業とのQ&A 7. どのくらいのパフォーマンス向上が期待できるか ワークロードによるけど、デフォルトの RDS 設定を使っている場合 5% 〜 15% は期待
できる
営業とのQ&A 8. PostgreSQL のバージョン変更したらどうなるか • 何もなかったように、新しいメトリック/設定項目を考慮範囲に含められるだけ • OtterTuneのサービスが途切れることはない 9. 設定変更によってパフォーマンスが下がったことはあるか?
• あるけど、最初の方だけで、ノイズに近い • 継続的な設定調整でパフォーマンスがだんだん悪くなることはない 10. でもお高いでしょ? • 1 db = $0 • 〜5 db = $450/月 • https://ottertune.com/pricing 11. 検証環境で学習させて本番環境に適用することは? • 環境によってワークロードが違うので、検証環境で学習させて、本番環境に変更を展開することはあまり意味がない
営業とのQ&A 12. どのDBがサポートされるか
13. どのパラメータを調整するか • autovacuum_vacuum_cost_delay • autovacuum_vacuum_cost_limit • autovacuum_vacuum_scale_factor • autovacuum_vacuum_threshold
• bgwriter_delay • bgwriter_lru_maxpages • bgwriter_lru_multiplier • checkpoint_completion_target • 等々 営業とのQ&A
ご清聴ありがとうございます