TiDBの導入背景、3年間運用して感じたこと - db tech showcase 2022 Tokyo

近年のコロナ禍での「巣ごもり需要」や動画配信サービスへの関心の高まりなどを受け、U-NEXTの有料会員数は3年間で約2.5倍に伸長し、2020年8月時点で200万人を突破しました。
このスライドでは、U-NEXT社が抱えていた課題を解決に導いたNewSQLはどのようなものか。TiDBの採用のポイント、そして三年間運用して感じたことについて紹介します。
出典：db tech showcase 2022

トピック：
・U-NEXT会社紹介
・TiDB導入の背景
・TiDBを選んだ理由
・移行
・現在の規模
・運用について

アーカイブ動画：
https://youtu.be/cNEjcWm44W0

Transcript

1. 黄　必栄 TiDBの導入背景、3年間運用して感じたこと
2. 自己紹介 名前：黄　必栄（こう　ひえい） 所属： R＆D部 職務：インフラなんでも屋
3. アジェンダ 会社紹介 導入背景 選んだ理由 移行 現在の規模 運用について
4. 会社紹介・市場状況
5. U-NEXTの目指す世界 ビデオ、ブック、音楽、ライブ
6. 圧倒的なカバレッジ 特に、映画・アニメ・韓流ドラマで作品数No.1 出典: GEM Partners調べ、2022年6月時点
7. 動画配信はレッドオーシャン U-NEXTは独立系サービス グローバル系 ジャンル特化型 テレビ局系 キャリア系 広告系 独立系
8. U-NEXTのマーケットシェア 3位 出典: GEM Partners「動画配信（ VOD）市場5年間予測（2022-2026年）レポート」
9. 動画配信市場は右肩成長 2026年には7200億円を上回る 出典: GEM Partners動画配信（VOD）市場5年間予測（2022-2026年）レポート 単位: 億円
10. 動画配信サービスの平均利用数 日本 アメリカ 1.7 3.1 2.7 2019年 2020年 2021年 出典: GEM Partners「動画配信／放送／ビデオソフト市場 ユーザー分析レポート」の 2021年調査版／ウォールストリート・ジャーナルが市場調査会社の調査をもとに分析
11. 導入背景
12. 導入前の構成
13. 課題 1.　　　　　　 ビックテーブルの性能 データサイズによる性能の劣化 2.　　　 オンラインスーケル 無停止メンテナンス 3.　　　　　　 持続コンミュニティとエンタープライズサポート 継続的な技術サポート 4.　　　 MySQLと互換性 移行に関する開発コスト 可用性 课题 移行コスト 将来性 性能問題
14. TiDBを選択した理由
15. 理由 MySQLと互換性 簡単にスケールアウト 活発なコンミュニティ 充実なサポート
16. 検証
17. 構成
18. 移行
19. 移行
20. 移行
21. 効果
22. 効果
23. 規模
24. 当初 1.7 TB 2019年 CPU メモリ HDD 台数 TiDB 24core/x86 64G SSD 1 TIDB 64core/arm 128G SSD 2 TIKV PD Pump 64core/arm 128G NVME 3
25. 現在 8.3 TB 2022年 CPU メモリ HDD 台数 TiDB 24core/x86 64G SSD 1 TIDB 64core/arm 128G SSD 6 TIKV 64core/arm 128G NVME 12 PD 64core/arm 128G SSD 3 Pump 64core/arm 128G SSD 3
26. 今後 1? TB 2023年 CPU メモリ HDD 台数 TiDB 64core/x86 128G SSD 6 TIKV 64core/x86 128G NVME 12 PD 64core/x86 128G SSD 3 TiCDC 64core/x86 128G SSD 3
27. 運用
28. スペックについて NVME! NVME!! NVME!!!
29. スペックについて PDを大切にする • 負荷分散されないので、過剰なスペックのほうが安心 • 司令塔だから、全体に影響しやすい
30. Armについて 感じたこと • OOMが起きやすい • ライブラリ更新が遅れる • x86より調整するところが多い • 偶に謎の問題が起きます
31. ツール デプロイツール • Ansible　ドキュメントにないことを教えます • TiUP　楽ですが、不安なところがあります、 monitor周りに多少不具合 同期ツール • Mydumper、Syncer、Drainer 設定簡単が、binlog有効しなければならない • Ticdc　やや複雑な設定ですが、同期スピードが速い
32. 初めでの障害 切り替えをして1週間後、突然急激に遅くなっていました。 • クエリ変更なし • テーブル変更なし • データ量微増ですが
33. 初めでの障害 切り替えをして1週間後、突然急激に遅くなっていました。 • クエリ変更なし • テーブル変更なし • データ量微増ですが 普通のMySQLでExplainを使ってMySQLの実行計画を分析、 TiDBも使えます。 • Explain + SQL ：クエリを実行せず、実効計画を取得 • Explain Analyze + SQL ：実際にクエリを実行し，実効計画も取得
34. 初めでの障害 解決 • show stats_healthy 統計情報 • analyze tableでインデックスのみ最適化 恒久対応 • tidb_auto_analyze_ratio デフォルト0.5から0.1へ変更 • tidb_auto_analyze_start_time tidb_auto_analyze_end_time 早朝時間帯に設定
35. 初めでのアップデート 3.0.2→3.1.1 • PD 再起動により、一時に不安定 • TiKV regionのrebalanceが時間は長い
36. 初めでのアップデート 3.0.2→3.1.1 • PD: 再起動により、一時に不安定 • TiKV: regionのrebalanceが時間は長い 4.0.16 現在
37. 拡張 楽
38. チューニング IO • 各コンボネットのlog level変更 • TiKV raftstore.sync-log=false （5.0以後強制的にtrueになりました）
39. 日常 Network • CRC Error注意 Region • Hot Region: RebalanceやScaleout • Health: pending、downのpeer数を警戒，missのpeerは0に維持
40. まとめ
41. 2022.11