Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiUG #1 LT
Search
Kaoru
March 28, 2024
0
4
TiUG #1 LT
Data Migration と Changefeed の間
Kaoru
March 28, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
小規模な会社のSREのリアル
okaru
0
22
Techbrew in Tokyo April 2024
okaru
0
14
TechBrew in 東京 SRE大集合 信頼性を高める取り組み LT
okaru
0
380
AI駆動開発(AI-Driven Development) 勉強会(第1回) LT
okaru
0
650
Serverless Meetup Tokyo #19 LT
okaru
0
260
アトランティスに行ってみよう
okaru
0
77
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
How GitHub (no longer) Works
holman
305
140k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
84
45k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
Designing Experiences People Love
moore
136
23k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Ruby is Unlike a Banana
tanoku
96
10k
Rails Girls Zürich Keynote
gr2m
91
13k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Designing for Performance
lara
601
67k
Transcript
LT TiUG #1 〜Data Migration と Changefeed の間〜 2024/3/29
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE 趣味:ゴスペル・ぺんぎん 特技:Ask
me
©2024 Voicy, Inc.
©2024 Voicy, Inc. 本日は TiDB Cloud での Data Migration と
Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. Data Migration(DM) とは ・TiDB のデータ移行ツールの一つ ・データソースは、MySQL、AWS
Aurora MySQL、 AWS RDS MySQL の三種類 ・移行先は、TiDB Dedicated Cluster ・同期すれば、Latency は 0-数ms以内(現状)
©2024 Voicy, Inc. DM の注意点 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第) ・データソース側のBinlogの有効化が必要 ・FOREIGN KEY 制約には対応してない
©2024 Voicy, Inc. Changefeed とは ・TiDB のデータ移行ツールの一つ ・データソースは、TiDB Dedicated
Cluster ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless
©2024 Voicy, Inc. Changefeed の注意点 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う ・Changefeed を使用する場合、DM
の Migration Mode は、Logical のみとなる(それしか選択できな い) ・同期後も、Latency は 1s 前後
©2024 Voicy, Inc. ということで Data Migration Changefeed
©2024 Voicy, Inc. 宣伝
©2024 Voicy, Inc. We’re hiring エンジニア募集してます! カジュアル面談しましょう
©2024 Voicy, Inc. ご清聴 ありがとうございました!