Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
TiUG #1 LT
Search
Kaoru
March 28, 2024
76
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
TiUG #1 LT
Data Migration と Changefeed の間
Kaoru
March 28, 2024
Transcript
14 slides
LT TiUG #1 〜Data Migration と Changefeed の間〜 2024/3/29
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE 趣味:ゴスペル・ぺんぎん 特技:Ask
me
©2024 Voicy, Inc.
©2024 Voicy, Inc. 本日は TiDB Cloud での Data Migration と
Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. Data Migration(DM) とは ・TiDB のデータ移行ツールの一つ ・データソースは、MySQL、AWS
Aurora MySQL、 AWS RDS MySQL の三種類 ・移行先は、TiDB Dedicated Cluster ・同期すれば、Latency は 0-数ms以内(現状)
©2024 Voicy, Inc. DM の注意点 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第) ・データソース側のBinlogの有効化が必要 ・FOREIGN KEY 制約には対応してない
©2024 Voicy, Inc. Changefeed とは ・TiDB のデータ移行ツールの一つ ・データソースは、TiDB Dedicated
Cluster ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless
©2024 Voicy, Inc. Changefeed の注意点 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う ・Changefeed を使用する場合、DM
の Migration Mode は、Logical のみとなる(それしか選択できな い) ・同期後も、Latency は 1s 前後
©2024 Voicy, Inc. ということで Data Migration Changefeed
©2024 Voicy, Inc. 宣伝
©2024 Voicy, Inc. We’re hiring エンジニア募集してます! カジュアル面談しましょう
©2024 Voicy, Inc. ご清聴 ありがとうございました!
More Decks by Kaoru
See All by Kaoru
古今東西SRE
okaru
2
310
Qiita Bash アドカレ LT #1
okaru
0
310
Mobile App with AI Meetup #1
okaru
0
160
JAWS-UG SRE支部 #14 LT
okaru
0
310
ゆるSRE #11 LT
okaru
1
1.1k
AI Engineering Summit Pre Event LT #10
okaru
2
860
AIエージェント実践集中コース LT
okaru
1
330
技術選定を突き詰める 懇親会LT
okaru
2
1.5k
Amazon S3 Tables + Amazon Athena / Apache Iceberg
okaru
2
580
Featured
See All Featured
Mozcon NYC 2025: Stop Losing SEO Traffic
samtorres
1
610
Bash Introduction
62gerente
615
220k
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
Building Better People: How to give real-time feedback that sticks.
wjessup
371
20k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
620
Git: the NoSQL Database
bkeepers
PRO
433
67k
Leo the Paperboy
mayatellez
11
2.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
203
77k
How to build a perfect <img>
jonoalderson
1
6.3k
Ten Tips & Tricks for a 🌱 transition
stuffmc
1
290