Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiUG #1 LT
Search
Kaoru
March 28, 2024
0
17
TiUG #1 LT
Data Migration と Changefeed の間
Kaoru
March 28, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
今年の一番の機能追加って何だろう?
okaru
0
83
宇宙最速のランチRecap LT会 (AWS re:Invent 2024)
okaru
2
160
TiDBを入れたけれど オートスケールがなかったよ
okaru
0
9
『Datadogのコスト削減』やってみた
okaru
0
15
令和最新版 メールの技術LT会 @ yabaibuki.dev #1 〜BIMIって・・・〜
okaru
0
72
ゆるSRE勉強会 #6 LT
okaru
0
390
小規模な会社のSREのリアル
okaru
0
170
Techbrew in Tokyo April 2024
okaru
0
26
TechBrew in 東京 SRE大集合 信頼性を高める取り組み LT
okaru
0
460
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
328
21k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
A designer walks into a library…
pauljervisheath
205
24k
We Have a Design System, Now What?
morganepeng
51
7.4k
Raft: Consensus for Rubyists
vanstee
137
6.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
GitHub's CSS Performance
jonrohan
1030
460k
Become a Pro
speakerdeck
PRO
26
5.2k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
A better future with KSS
kneath
238
17k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Transcript
LT TiUG #1 〜Data Migration と Changefeed の間〜 2024/3/29
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE 趣味:ゴスペル・ぺんぎん 特技:Ask
me
©2024 Voicy, Inc.
©2024 Voicy, Inc. 本日は TiDB Cloud での Data Migration と
Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. Data Migration(DM) とは ・TiDB のデータ移行ツールの一つ ・データソースは、MySQL、AWS
Aurora MySQL、 AWS RDS MySQL の三種類 ・移行先は、TiDB Dedicated Cluster ・同期すれば、Latency は 0-数ms以内(現状)
©2024 Voicy, Inc. DM の注意点 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第) ・データソース側のBinlogの有効化が必要 ・FOREIGN KEY 制約には対応してない
©2024 Voicy, Inc. Changefeed とは ・TiDB のデータ移行ツールの一つ ・データソースは、TiDB Dedicated
Cluster ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless
©2024 Voicy, Inc. Changefeed の注意点 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う ・Changefeed を使用する場合、DM
の Migration Mode は、Logical のみとなる(それしか選択できな い) ・同期後も、Latency は 1s 前後
©2024 Voicy, Inc. ということで Data Migration Changefeed
©2024 Voicy, Inc. 宣伝
©2024 Voicy, Inc. We’re hiring エンジニア募集してます! カジュアル面談しましょう
©2024 Voicy, Inc. ご清聴 ありがとうございました!