Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiDBを入れたけれど オートスケールがなかったよ
Search
Kaoru
October 23, 2024
Technology
0
9
TiDBを入れたけれど オートスケールがなかったよ
OpsJAWS Meetup31 泥臭いOPSのLT
TiDBを入れたけれど
オートスケールがなかったよ
2024/10/23
Kaoru
October 23, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
今年の一番の機能追加って何だろう?
okaru
0
83
宇宙最速のランチRecap LT会 (AWS re:Invent 2024)
okaru
2
160
『Datadogのコスト削減』やってみた
okaru
0
16
令和最新版 メールの技術LT会 @ yabaibuki.dev #1 〜BIMIって・・・〜
okaru
0
72
ゆるSRE勉強会 #6 LT
okaru
0
400
小規模な会社のSREのリアル
okaru
0
170
Techbrew in Tokyo April 2024
okaru
0
27
TiUG #1 LT
okaru
0
19
TechBrew in 東京 SRE大集合 信頼性を高める取り組み LT
okaru
0
460
Other Decks in Technology
See All in Technology
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
180
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.9k
20250307_エンジニアじゃないけどAzureはじめてみた
ponponmikankan
2
110
サバイバルモード下でのエンジニアリングマネジメント
konifar
21
7.1k
エンジニア主導の企画立案を可能にする組織とは?
recruitengineers
PRO
1
310
スクラムというコンフォートゾーンから抜け出そう!プロジェクト全体に目を向けるインセプションデッキ / Inception Deck for seeing the whole project
takaking22
3
130
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
340
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
1.1k
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.8k
AIエージェント元年@日本生成AIユーザ会
shukob
1
260
クラウド食堂とは?
hiyanger
0
130
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
Featured
See All Featured
How to Ace a Technical Interview
jacobian
276
23k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Designing for Performance
lara
605
68k
The Invisible Side of Design
smashingmag
299
50k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
530
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
The Cult of Friendly URLs
andyhume
78
6.2k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Done Done
chrislema
182
16k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Designing for humans not robots
tammielis
250
25k
Transcript
OpsJAWS Meetup31 泥臭いOPSのLT TiDBを入れたけれど オートスケールがなかったよ 2024/10/23
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE ぺんぎん好き
©2024 Voicy, Inc. ぺんぎん・冗長性
©2024 Voicy, Inc.
©2024 Voicy, Inc. Voicyのアーキテクチャ
©2024 Voicy, Inc. 本日のお品書き 1. TiDBとは 2. オートスケールがない 3.
DIY 4. 課題 まとめ
©2024 Voicy, Inc. 1. TiDBとは • MySQL互換のNewSQL系データベース • 5.7
及び 8.0 と互換性がある • MySQLのソースコードは使用せず、自前で実装 してる(らしい) • 制約は多少あるが、基本MySQLとして扱える
©2024 Voicy, Inc. 1. TiDBとは • TiDBは、おおざっぱに、TiDB・TiKV(&TiFlash) という構成になっている
©2024 Voicy, Inc. 1. TiDBとは 出典:https://docs.pingcap.com/ja/tidbcloud/tidb-architecture
©2024 Voicy, Inc. 1. TiDBとは • TiDB ◦ SQLレイヤーを担当
◦ MySQL互換のインターフェースを提供し、ユーザーか らのSQLクエリを受け付け、解析、最適化を行う ◦ 分散データベース全体を管理し、クエリを適切なTiKV またはTiFlashノードにルーティングする ◦ ユーザーからはMySQLデータベースのように見える ◦ Reader/Writer の区別はない
©2024 Voicy, Inc. 1. TiDBとは • TiKV ◦ 行指向のKey-Valueストア
◦ データの永続化とトランザクション処理を担当 ◦ Raftコンセンサスアルゴリズムに基づいてデータを複 製し、高可用性とデータの整合性を保証 ◦ スケールアウトが容易で、必要に応じてノードを追加 することで容量を増やすことができる
©2024 Voicy, Inc. 1. TiDBとは • TiFlash ◦ 列指向のKey-Valueストア
◦ TiKVのデータを複製し、分析クエリ処理に最適化され た形で保存 ◦ OLAPワークロードに適しており、複雑な集計クエリを 高速に処理 ◦ TiKVと連携して動作し、HTAP (Hybrid Transactional/Analytical Processing) ワークロードを サポート
©2024 Voicy, Inc. 2. オートスケールがない • Auroraは、Amazon Aurora Auto
Scaling により、 リソースや時間でスケールアウト・インが可能と なっている • しかし、TiDB Cloud にはない・・・
©2024 Voicy, Inc.
©2024 Voicy, Inc. 2. オートスケールがない • Voicyの運用的には必要 朝がピーク
©2024 Voicy, Inc. 3. DIY • APIを叩けば、サーバ台数の変更は可能 • go/python
のサンプルがある https://github.com/tidbcloud/tidbcloud-api-samples • python でやりました
©2024 Voicy, Inc. 3. DIY • 構成 EventBridge Scheduler Lambda
TiDB API
©2024 Voicy, Inc. 3. DIY • EventBridge に投げる変数で台数を設定 •
TiDBNodeQuantity • TiKVNodeQuantity
©2024 Voicy, Inc. 4. 課題 • スケールアウトするご とに、ノードの番号が 増える →現状様子見
©2024 Voicy, Inc. 4. 課題 • AutoIncrementの確保される採番プールが、デ フォルトだと1台につき30000で確保され、ス ケールイン・アウトを繰り返すと、際限なく大きく なる
→IDをBIGINT対応 →プールを縮小
©2024 Voicy, Inc. 4. 課題 • グレースフルで切れるはずだが、スケールイン 時にコネクション切れが発生する →TiDB Proxyに期待
©2024 Voicy, Inc. 4. 課題 • TIDB・TiKVを同時にスケールインすると、TiKV が優先され、TiDBのスケールインが遅れる →運用の変更
©2024 Voicy, Inc. 4. 課題 • TIDBのAPIすべてそうだが、APIを叩くとエンド ポイントにアクセスがOKであれば、応答後すぐ にクローズされてしまう →スケールイン・アウトの終了ハンドリングは自
前でしないといけない
©2024 Voicy, Inc. 4. 課題 • リソース使用量でのオートスケールは現状でき ていない →API駆使すればいけそう?
©2024 Voicy, Inc. まとめ • 自前でのオートスケール実装は可能 • 若干問題はあるものの運用はできていて、コスト も削減できている •
来年くらいには公式のオートスケールがでるか も?
©2024 Voicy, Inc. 対談ゲスト募集中 Voicyエンジニアでやっている ポッドキャスト番組 voi-chord https://voicy.jp/channel/1305
©2024 Voicy, Inc. ご清聴 ありがとうございました!