Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiDBを入れたけれど オートスケールがなかったよ
Search
Kaoru
October 23, 2024
Technology
0
25
TiDBを入れたけれど オートスケールがなかったよ
OpsJAWS Meetup31 泥臭いOPSのLT
TiDBを入れたけれど
オートスケールがなかったよ
2024/10/23
Kaoru
October 23, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
ゆるSRE #11 LT
okaru
1
730
AI Engineering Summit Pre Event LT #10
okaru
2
610
AIエージェント実践集中コース LT
okaru
1
220
技術選定を突き詰める 懇親会LT
okaru
2
1.4k
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
2
350
JAWS-UG SRE支部 #11 LT EKS Auto Mode をやりたい
okaru
0
23
今年の一番の機能追加って何だろう?
okaru
0
110
宇宙最速のランチRecap LT会 (AWS re:Invent 2024)
okaru
2
180
『Datadogのコスト削減』やってみた
okaru
0
38
Other Decks in Technology
See All in Technology
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
taishin
1
160
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
6.5k
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
230
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
6.3k
Lazy application authentication with Tailscale
bluehatbrit
0
170
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
290
AI時代の開発生産性を加速させるアーキテクチャ設計
plaidtech
PRO
3
130
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
160
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
27
9.4k
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
520
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
100
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
A Tale of Four Properties
chriscoyier
160
23k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Writing Fast Ruby
sferik
628
62k
Building Adaptive Systems
keathley
43
2.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Adopting Sorbet at Scale
ufuk
77
9.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Balancing Empowerment & Direction
lara
1
430
Transcript
OpsJAWS Meetup31 泥臭いOPSのLT TiDBを入れたけれど オートスケールがなかったよ 2024/10/23
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE ぺんぎん好き
©2024 Voicy, Inc. ぺんぎん・冗長性
©2024 Voicy, Inc.
©2024 Voicy, Inc. Voicyのアーキテクチャ
©2024 Voicy, Inc. 本日のお品書き 1. TiDBとは 2. オートスケールがない 3.
DIY 4. 課題 まとめ
©2024 Voicy, Inc. 1. TiDBとは • MySQL互換のNewSQL系データベース • 5.7
及び 8.0 と互換性がある • MySQLのソースコードは使用せず、自前で実装 してる(らしい) • 制約は多少あるが、基本MySQLとして扱える
©2024 Voicy, Inc. 1. TiDBとは • TiDBは、おおざっぱに、TiDB・TiKV(&TiFlash) という構成になっている
©2024 Voicy, Inc. 1. TiDBとは 出典:https://docs.pingcap.com/ja/tidbcloud/tidb-architecture
©2024 Voicy, Inc. 1. TiDBとは • TiDB ◦ SQLレイヤーを担当
◦ MySQL互換のインターフェースを提供し、ユーザーか らのSQLクエリを受け付け、解析、最適化を行う ◦ 分散データベース全体を管理し、クエリを適切なTiKV またはTiFlashノードにルーティングする ◦ ユーザーからはMySQLデータベースのように見える ◦ Reader/Writer の区別はない
©2024 Voicy, Inc. 1. TiDBとは • TiKV ◦ 行指向のKey-Valueストア
◦ データの永続化とトランザクション処理を担当 ◦ Raftコンセンサスアルゴリズムに基づいてデータを複 製し、高可用性とデータの整合性を保証 ◦ スケールアウトが容易で、必要に応じてノードを追加 することで容量を増やすことができる
©2024 Voicy, Inc. 1. TiDBとは • TiFlash ◦ 列指向のKey-Valueストア
◦ TiKVのデータを複製し、分析クエリ処理に最適化され た形で保存 ◦ OLAPワークロードに適しており、複雑な集計クエリを 高速に処理 ◦ TiKVと連携して動作し、HTAP (Hybrid Transactional/Analytical Processing) ワークロードを サポート
©2024 Voicy, Inc. 2. オートスケールがない • Auroraは、Amazon Aurora Auto
Scaling により、 リソースや時間でスケールアウト・インが可能と なっている • しかし、TiDB Cloud にはない・・・
©2024 Voicy, Inc.
©2024 Voicy, Inc. 2. オートスケールがない • Voicyの運用的には必要 朝がピーク
©2024 Voicy, Inc. 3. DIY • APIを叩けば、サーバ台数の変更は可能 • go/python
のサンプルがある https://github.com/tidbcloud/tidbcloud-api-samples • python でやりました
©2024 Voicy, Inc. 3. DIY • 構成 EventBridge Scheduler Lambda
TiDB API
©2024 Voicy, Inc. 3. DIY • EventBridge に投げる変数で台数を設定 •
TiDBNodeQuantity • TiKVNodeQuantity
©2024 Voicy, Inc. 4. 課題 • スケールアウトするご とに、ノードの番号が 増える →現状様子見
©2024 Voicy, Inc. 4. 課題 • AutoIncrementの確保される採番プールが、デ フォルトだと1台につき30000で確保され、ス ケールイン・アウトを繰り返すと、際限なく大きく なる
→IDをBIGINT対応 →プールを縮小
©2024 Voicy, Inc. 4. 課題 • グレースフルで切れるはずだが、スケールイン 時にコネクション切れが発生する →TiDB Proxyに期待
©2024 Voicy, Inc. 4. 課題 • TIDB・TiKVを同時にスケールインすると、TiKV が優先され、TiDBのスケールインが遅れる →運用の変更
©2024 Voicy, Inc. 4. 課題 • TIDBのAPIすべてそうだが、APIを叩くとエンド ポイントにアクセスがOKであれば、応答後すぐ にクローズされてしまう →スケールイン・アウトの終了ハンドリングは自
前でしないといけない
©2024 Voicy, Inc. 4. 課題 • リソース使用量でのオートスケールは現状でき ていない →API駆使すればいけそう?
©2024 Voicy, Inc. まとめ • 自前でのオートスケール実装は可能 • 若干問題はあるものの運用はできていて、コスト も削減できている •
来年くらいには公式のオートスケールがでるか も?
©2024 Voicy, Inc. 対談ゲスト募集中 Voicyエンジニアでやっている ポッドキャスト番組 voi-chord https://voicy.jp/channel/1305
©2024 Voicy, Inc. ご清聴 ありがとうございました!