Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TiUG #1 LT
Search
Kaoru
March 28, 2024
0
18
TiUG #1 LT
Data Migration と Changefeed の間
Kaoru
March 28, 2024
Tweet
Share
More Decks by Kaoru
See All by Kaoru
今年の一番の機能追加って何だろう?
okaru
0
83
宇宙最速のランチRecap LT会 (AWS re:Invent 2024)
okaru
2
160
TiDBを入れたけれど オートスケールがなかったよ
okaru
0
9
『Datadogのコスト削減』やってみた
okaru
0
15
令和最新版 メールの技術LT会 @ yabaibuki.dev #1 〜BIMIって・・・〜
okaru
0
72
ゆるSRE勉強会 #6 LT
okaru
0
390
小規模な会社のSREのリアル
okaru
0
170
Techbrew in Tokyo April 2024
okaru
0
26
TechBrew in 東京 SRE大集合 信頼性を高める取り組み LT
okaru
0
460
Featured
See All Featured
Measuring & Analyzing Core Web Vitals
bluesmoon
6
260
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Designing for humans not robots
tammielis
250
25k
Gamification - CAS2011
davidbonilla
80
5.2k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Git: the NoSQL Database
bkeepers
PRO
428
65k
GraphQLとの向き合い方2022年版
quramy
44
14k
Music & Morning Musume
bryan
46
6.4k
4 Signs Your Business is Dying
shpigford
183
22k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
530
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Transcript
LT TiUG #1 〜Data Migration と Changefeed の間〜 2024/3/29
©2024 Voicy, Inc. 自己紹介 名前:織田 薫(かおる) 会社:株式会社Voicy 職業:SRE 趣味:ゴスペル・ぺんぎん 特技:Ask
me
©2024 Voicy, Inc.
©2024 Voicy, Inc. 本日は TiDB Cloud での Data Migration と
Changefeedにつ いて、Voicy で使用してみた経験をお話したいと思い ます。 ※Serverless では双方とも使用できないので、対象 は Dedicated Cluster になります。
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. TiDB Dedicated Cluster では ・Data に4つの項目があります
©2024 Voicy, Inc. Data Migration(DM) とは ・TiDB のデータ移行ツールの一つ ・データソースは、MySQL、AWS
Aurora MySQL、 AWS RDS MySQL の三種類 ・移行先は、TiDB Dedicated Cluster ・同期すれば、Latency は 0-数ms以内(現状)
©2024 Voicy, Inc. DM の注意点 ・1TB以上のデータ量の場合は、Lightning や Dumpling の使用が推 奨される
・移行スピードは、DMのRCUとTiDB Cluster のインスタンス数によ り変わる ・最初の Export は比較的速いが、その後の Import は結構時間が かかる(リソース次第) ・データソース側のBinlogの有効化が必要 ・FOREIGN KEY 制約には対応してない
©2024 Voicy, Inc. Changefeed とは ・TiDB のデータ移行ツールの一つ ・データソースは、TiDB Dedicated
Cluster ・移行先は、Kafka、MySQL、AWS S3、TiDB Serverless
©2024 Voicy, Inc. Changefeed の注意点 ・完全レプリケーションしたい場合は、Changefeed から先に設定を行う ・Changefeed を使用する場合、DM
の Migration Mode は、Logical のみとなる(それしか選択できな い) ・同期後も、Latency は 1s 前後
©2024 Voicy, Inc. ということで Data Migration Changefeed
©2024 Voicy, Inc. 宣伝
©2024 Voicy, Inc. We’re hiring エンジニア募集してます! カジュアル面談しましょう
©2024 Voicy, Inc. ご清聴 ありがとうございました!