TiDB Cloud最新状況の紹介

TiDB Cloudの基盤となるTiDB本体はDMRが2ヶ月に1度、LTSが約6ヶ月に1度など高頻度でリリースがされておりますが、TiDB Cloudは最短1週間程度で新しい機能がぞくぞくと提供されています。
この資料では、2022年7月以降提供されてきたTiDB Cloudをスケーラブルに利用したり、MySQLからデータの差分更新の最適化をはじめとした、約1年間で提供されてきたTiDB Cloudの新機能を紹介しています。

・トピック
TiDB Cloudでのスケールアップ、スケールダウンのサポート
DMによるMySQLのGTIDまたはbinlog positionを利用した差分更新
TiDB Cloudに搭載されたアラートの仕組み

・動画
https://youtu.be/lByanN_yo2w

Transcript

1. TiDB Cloud最新状況の紹介 本多康夫 Technical support engineer at PingCAP Japan
2. これまでのウェビナースケジュール https://pingcap.co.jp/event/ 
 
 2023年2月3日(金) 14:00-15:00 TiDB 6.5 LTS新機能の紹介 2023年2月17日(金) 14:00-15:00 PingCAP Education: TiDB CloudのIntegration機能の紹介 - Datadog、 Prometheus、Vercelとの統合 2023年3月2日(木) 14:00-15:00 ハンズオン TiDB Cloud Serverless TierとChatGPTのSQL生成を試してみ よう! 2023年3月24日(木) 14:00 - 15:00 TiFlashの紹介 2023年4月13日(木) 14:00 - 15:00 TiDBにおけるSQLチューニング　SQL bindingのご紹介 2023年5月18日(木) 14:00 - 15:00 TiDB 7.0 DMR新機能の紹介 2023年6月15日(木) 14:00-15:00 【TiDB Serverless GA直前】TiDB新章。Serverless + Data API + AIによる新 たな活用 2023年7月27日(木) 14:00-15:00 TiDB Cloud最新状況の紹介 ※過去開催アーカイブ：https://pingcap.co.jp/event-video/
3. 次回以降のウェビナースケジュール https://pingcap.co.jp/event/ 
 
 2023年9月14日(木) 14:00-15:00 TiDBとMySQLの互換性改善アップデート
4. アジェンダ • TiDB Cloud全般の変更 ◦ TiDB Cloud製品名アップデート ◦ TiDB Cloud新機能追加サイクル ◦ TiDB Serverless 一般提供開始 • TiDB Cloud 個別の新機能 ◦ Branching feature (beta) ◦ TiDB ServerlessでのPiTR (beta) ◦ スケールアップ、スケールダウンのサポート ◦ Index Insight (beta) ◦ Changefeed to Amazon S3 ◦ TiDB CloudコンソールのRBAC ◦ MySQLのGTIDまたはbinlog positionを利用した差分更新 ◦ TiDB Cloudビルトインアラート • TiDB Cloudの更新状況を知るには • Q&A • お知らせ
5. TiDB Cloud全般の変更
6. • 2023年6月23日より、下記の通りTiDB Cloud製品名が更新されました • TiDB Dedicated ◦ 旧 TiDB Cloud Dedicated Tier • TiDB Serverless ◦ 旧 TiDB Cloud Serverless Tier TiDB Cloud製品名アップデート
7. • TiDBサーバー、TiKVサーバー、TiFlashサーバーのキャパシティに基づいた TiDB Cloud ◦ CPU数 ◦ メモリサイズ ◦ ディスクサイズ • シングルテナント TiDB Dedicatedとは
8. • 一定の無料枠をもとに、キャパシティを動的に変更可能な TiDB Cloud ◦ 行ベースストレージ : 5GiB ◦ 列ベースストレージ : 5GiB ◦ リクエストユニット : 5000万リクエストユニット /月 • 無料枠を超える部分は、ストレージサイズ、リクエストユニット数に応じた価格設定 • マルチテナント TiDB Serverlessとは
9. • TiDBソフトウェア、TiDB Cloudの両方で、高頻度な新機能リリース • TiDBソフトウェア ◦ 月単位(約2ヶ月から6ヶ月)でのリリース ◦ データベースソフトウェアとしては比較的高頻度 ◦ DMR : 約2ヶ月おき ◦ LTS : 約6ヶ月おき • TiDB Cloud ◦ 日、週単位での高頻度な新機能追加 ◦ 2022年7月以降 67回の新機能の追加リリースが行われています ▪ ひとつのリリースに複数の新機能を含みます TiDB Cloud新機能追加サイクル
10. • 2023年7月5日、TiDB Serverlessの一般提供が開始されました • 従来の無料範囲はそのまま、それ以上をストレージサイズ、リクエストユニット数で課金 ◦ 行ベースストレージ : 5GiB ◦ 列ベースストレージ : 5GiB ◦ RU: 5000万 RU/月 • Spending Limit ◦ 月あたりの限度額を設定可能 • Usage This Month ◦ 現在の利用状況の確認が可能 TiDB Serverless 一般提供開始
11. TiDB Cloud 個別の新機能
12. • TiDB Serverlessのインスタンスからgitのようにブランチを作成することが可能 ◦ 既存の環境とは隔離されたインスタンスが作成される ◦ copy on write (ブランチが分かれて実際に書き込みを行う時点でコピー ) により、高速なブランチ作 成が可能 • 利用例 ◦ テストのために一時的な環境がほしい ◦ DDLやDMLをテスト実行したいが、データベースのコピーを作成するのが面倒 ◦ GitHubでのpull request毎に個別のデータベースがほしい • Note ◦ branching feature (beta)は2023年7月5日以降に作成したTiDB Serverlessクラスタで利用可能 ◦ ブランチの最大数は 5まで ◦ データベースの最大サイズは 100GiBまで Branching feature (beta)
13. • ブランチの作成方法 ◦ クラスタ名(例: Cluster0) の下にある Branches を選択 ◦ 青い Create Branch をクリック ◦ ブランチ名(Branch Name)を指定して、Create Branching feature (beta)
14. • ブランチの作成方法 ◦ 数分程度で Statusが “Ready”になります ◦ Actionから “Connect”を選択すると、そのブランチへの接続文字列が表示されます Branching feature (beta)
15. • 新規ブランチの接続 ◦ 従来の接続文字列と新規ブランチへの接続文字列で異なるのはユーザー名、パスワードのみ ◦ 従来ブランチ ▪ mysql --connect-timeout 15 -u '4TH8bDnKVMfu8Hq.root' -h gateway01.ap-northeast-1.prod.aws.tidbcloud.com -P 4000 -D test --ssl-mode=VERIFY_IDENTITY --ssl-ca=/etc/ssl/cert.pem -p ◦ 新規ブランチ ▪ mysql --connect-timeout 15 -u '4CZQAkfn4oUDA4Z.root' -h gateway01.ap-northeast-1.prod.aws.tidbcloud.com -P 4000 -D test --ssl-mode=VERIFY_IDENTITY --ssl-ca=/etc/ssl/cert.pem -p • 新規ブランチに対して mysqlクライアントで接続します Branching feature (beta)
16. • 新規ブランチ(test)に対してmysqlクライアントで接続 • データベースも既存のまま存在 • testブランチのデータ変更 (truncate table city)は、既存ブランチのデータに影響を与えません Branching feature (beta)
17. Branching feature (beta)
18. • ブランチの削除方法 ◦ Actionから “Delete”を選択すると、そのブランチへの接続文字列が表示されます ◦ “I understand, delete” をクリックするとブランチが削除されます Branching feature (beta)
19. • 削除されたブランチへ接続を試みても、下記のエラーが返されます • ERROR 1105 (HY000): Cluster not found. Please check your user name prefix. See https://docs.pingcap.com/tidbcloud/select-cluster-tier#user-name-prefix ” Branching feature (beta)
20. • TiDB ServerlessでPoint in time recovery(PITR)が追加されました • 過去90日のうち任意の時点にリカバリ可能です • TiDB ServerlessでのPITRは既存クラスタの内容を置き換えます • TiDB Dedicatedでは従来からPiTRの利用が可能です ◦ TiDB Dedicatedでは新規クラスタへのリストアとなります TiDB ServerlessでのPiTR (beta)
21. • PiTRの使用方法 • Data の下にある Backup を選択 • 過去に自動で取得された日時バックアップが表示されます TiDB ServerlessでのPiTR (beta)
22. • リストアしたいバックアップから Action をクリックし、”Restore”を選択します TiDB ServerlessでのPiTR (beta)
23. • Restore Mode を選択します ◦ Basic Snapshot Restore : 選択したバックアップした時点のデータにリストア ◦ Point-in-Time Restore : 任意の時刻 (Restore to)にリカバリ • Summaryを確認し、Restore TiDB ServerlessでのPiTR (beta)
24. • 従来 ◦ ノード数のスケールアウト (数を増やす)、スケールイン(数を減らす)のみが可能 • 現在 ◦ ノード自体のキャパシティを変更可能 ◦ CPU ◦ Memory ◦ Disk (TiKV) ◦ Disk (TiFlash) • クラウドプロバイダー毎 ◦ AWSでのTiDB Dedicated ▪ 2023年の4月25日以降に新しく作成した TiDB Dedicated Clusterより可能 ◦ GCPでのTiDB Dedicated ▪ 2023年の4月26日以降に新しく作成した TiDB Dedicated Clusterより可能 ◦ https://docs.pingcap.com/tidbcloud/size-your-cluster スケールアップ、スケールダウンのサポート
25. • スケールアップ、スケールダウンの方法 ◦ Connectの右側にある 横三点リーダーをクリックし、 Modifyを選択 ◦ vCPU + RAMからノードスペックを変更、 Storage (GiB)からストレージサイズを増加 ▪ Note: ストレージサイズを減らすことはできません ◦ Summaryから Confirm スケールアップ、スケールダウンのサポート
26. • インデックスのアドバイザー • 遅いクエリーに対して、インデックス追加の提案を行います • Diagnosticsから”Index Insight”を選択し、左側に表示されたユーザーを rootで作成 • index_insight_userのユーザー名とパスワードを SQL Userに入力し、Activateします Index Insight (beta)
27. • Index Insightの右側にある “Check Up” をクリックすると、過去 3時間のスロークエリーをスキャンし、候補 となるインデックスを推奨します Index Insight (beta)
28. • TiDB DedicatedのchagefeedsからAmazon S3に対してデータを送れるようになりました • https://docs.pingcap.com/tidbcloud/changefeed-sink-to-cloud-storage Changefeed to Amazon S3
29. • TiDB Consoleにログインするユーザーに適切なロールを付与可能 ◦ 従来はロールが細分化されていなかった ◦ Organization(組織)毎のロール ▪ Organization Owner ▪ Organization Billing Admin ▪ Organization Console Audit Admin ▪ Organization Member ◦ Project(プロジェクト)毎のロール ▪ Project Owner ▪ Project Data Access Read-Write ▪ Project Data Access Read-Only ◦ 例: クラスタを作成するには Organization OwnerまたはProject Ownerロールが必要です • Note: TiDB自体の(MySQL 8互換のRBAC)は別に存在します ◦ create role <role name> TiDB CloudコンソールのRBAC
30. • User Managementより、”By Organization” または、”By Project” でユーザーをInvite可能です • Invite時にRoleを指定できます TiDB CloudコンソールのRBAC
31. • MySQLをソースとしたデータベースから、 TiDBに対してGTID、binlog positionを指定した差分更新が可 能になりました • https://docs.pingcap.com/tidbcloud/migrate-incremental-data-from-mysql-using-data-migration#prere quisites MySQLのGTID、binlog positionを利用した差分更新
32. • https://docs.pingcap.com/tidbcloud/monitor-built-in-alerting#tidb-cloud-built-in-alert-conditions • 以下の条件でアラートが作成されます ◦ TiDB、TiKV、TiFlashノードのメモリ使用量が 70%を10分連続で超えた場合 ◦ TiDB、TiKV、TiFlashノードのCPU使用率が80%を10分連続で超えた場合 ◦ TiKV、TiFlashストレージの利用率が 80%を超えた場合 ◦ Data migrationジョブでexport,importでエラーが発生した場合 • Alertsページからアラートを確認できます ◦ Edit Rulesでアラートを個別に無効 ◦ Subscriberとしてメールアドレス TiDB Cloudビルトインアラート
33. • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#july-18-2023 ◦ importの改善 • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#july-11-2023 ◦ TiDB Botの追加 • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#july-4-2023 ◦ TiDB Cloudコンソール、ダークモード • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#may-30-2023 ◦ Events ページに ImportData タイプの追加 • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#may-9-2023 ◦ 圧縮ファイル gzip gz zstd zst snapp ファイル • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#april-4-2023 ◦ Sink to TiDB Cloud ◦ https://docs.pingcap.com/tidbcloud/changefeed-sink-to-tidb-cloud その他の新機能 / Dedicated Serverless共通
34. • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#july-18-2023 ◦ Customer Managed Key (CMK)が利用可能になりました (Beta) / AWS only • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#july-11-2023 ◦ Weekly backup • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#june-13-2023 ◦ Key Visualizerインターフェースの改善 ◦ Monitoringページの改善 ▪ https://docs.pingcap.com/tidbcloud/tune-performance#statement-analysis • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#april-18-2023 ◦ Data Migration jobのスケールアップ、スケールダウン • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#april-4-2023 ◦ Changefeed RCU変更 ▪ https://docs.pingcap.com/tidbcloud/changefeed-sink-to-tidb-cloud その他の新機能 / Dedicatedのみ
35. • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#june-13-2023 ◦ モニタリングの保持期間が 3日間から7日間に延長 • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#june-5-2023 ◦ TiDB Cloud Data Service (beta) ◦ https://docs.pingcap.com/tidbcloud/data-service-overview • https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes#may-9-2023 ◦ Private Link （AWS) その他の新機能 / Serverlessのみ
36. TiDB Cloudの更新状況を知るには
37. • リリースノートURL ◦ https://docs.pingcap.com/tidbcloud/tidb-cloud-release-notes/ • “TiDB Community” Slackの #tidb-japan チャネルでリリースノートのサマリーをお伝えしています ◦ https://pingcap.co.jp/ から ◦ 「リソース」→ 「コミュニティ」 TiDB Cloudの更新状況を知るには
38. Q&A
39. PingCAP定期ウェビナー https://pingcap.co.jp/event/ ※過去開催アーカイブ　：　 https://pingcap.co.jp/event-video/
41. PingCAP Education トレーニング トレーニング全体リンク 　　https://en.pingcap.com/education/ 無償コース（推奨） 　　TiDB Technical Essentials 101: 内容 　　- TiDB全体のアーキテクチャ 　　- TiDBの各コンポーネントのアーキテクチャ 　　- HTAP Overview & TiFlashのアーキテクチャ 　　- TiDB Cloudの始め方 　　- TiDB 6.0情報 Course: TiDB Essentials 101 トレーニングを通じ、TiDBの理解を深めることができます。
42. 告知　『TiDB Cloud 検証支援キャンペーン』 今すぐ試そう！ TiDB Cloud PoC 3,000USD (40万円相当) デポジット 
 キャンペーン期間 2023年4月1日〜2023年9月30日 (最大10社) キャンペーン内容 TiDB Cloud 3,000 USD (40万円相当) デポジット 対象・適用条件 下記条件を満たすお客様 (最大10社)　 ①TiDB Dedicatedを使用したことがない、②導入を検討したいプロジェクトがある、 ③検討事例/プロモーションへのご協力 ※フォームにご入力の上、キャンペーンにお申し込みください。 審査結果およびキャンペーンの詳細について担当者より連絡いたします。
43. TiDB / TiDB Cloud 日本語ドキュメント https://docs.pingcap.com/ja/tidb/stable 日本語訳問題の報告は こちらからお願いします。 https://github.com/pingcap/docs/issues issue作成時のLabel： i18n-ja type/bug-fix
44. OSS Insight : 活発度が分かる分析サービス 46億を超えるGitHub上のイベント分析するデータベースとしてTiDB (TiFlash)を活用 https://ossinsight.io/ ①各イベント発生の推移 ①GitHubイベント データを1分おきに同期 +TiFlash https://ossinsight.io/ ②Pull requests地域の表示 ②分析クエリを TiFlash(カラムストア ) で高速処理 ③ジャンル内での比較（人気言語等） etc…
45. @PingCAP_Japan Twitterのフォローをお願いします。
46. Thank You!
 https://www.pingcap.com/
 info@pingcap.com