無限にスケールできるRDB・TiDBの効果～移行までを考察する - Insight Technologyセッションその1

RDBのスケールの課題を直接的に解決するNewSQLデータベースの普及が進んでいます。
現実的に移行していくにはどのようなツールを使っていけるのか、NewSQLのメリットを振り返りながら考察していきます。

TiDBへの移行の勘所とそれを支えるツール
TiDBへの乗り換え時に必要となる、データ移行、アプリケーション改修・テスト。特にMySQL以外から乗り換える場合は、いろいろと考慮が必要となります。

本スライドでは、インサイトテクノロジー社開発製品であるInsight Database Testing、インサイトテクノロジー社取扱い製品であるQlik Replicateを使用して、MySQLからの乗り換えはもちろん、MySQL以外のデータベースからの乗り換え時に「いかに簡単に」対応できるのか、事例を含めて紹介します。

Transcript

1. TiDBへの移⾏の勘所とそれを⽀えるツール 株式会社インサイトテクノロジー
2. Contents 1. ⾃⼰紹介、会社紹介 2. 楽々！TiDBへのデータ移⾏/データベース移⾏ 2 © 2022 Insight Technology, Inc.
3. ⾃⼰紹介・会社紹介 3 © 2022 Insight Technology, Inc.
4. 4 © 2022 Insight Technology, Inc. ⾃⼰紹介 ▪名前 宮地 敬史（みやち けいし） ▪所属 株式会社インサイトテクノロジー ▪主な仕事 データインテグレーション / データベース周りのコンサルティング • システム移⾏/データベース移⾏ • システム間データ連携 • 新規データベースシステム • 分析基盤 • ⽝、猫の世話 ▪過去の職歴 アプリケーション設計・開発（⾦融系/テレコム系/etc） データベースエンジニア（設計・構築・パフォーマンスチューニング、運⽤整理等）
5. 5 © 2022 Insight Technology, Inc. 会社概要 • 株式会社インサイトテクノロジー • 設⽴︓1995年7⽉7⽇ • 資本⾦︓1億円（2006年12⽉） • 役員 代表取締役会⻑ CVO アレン・マイナー 代表取締役社⻑ CEO 森⽥ 俊哉 取締役 CPO ⽯川 雅也 取締役 CFO 永⾒ 和平 • 所在地 – 本社︓ 東京都渋⾕区恵⽐寿 – ⼤阪⽀店︓⼤阪市北区⼤深町 – 札幌開発センター︓札幌市北区北 – 名古屋⽀店︓名古屋市中村区 • 事業内容 – DB関連のソフトウェア製品開発 / 販売 – DB関連のHW製品開発 / 販売 – DBコンサルティング • 主要取引先(パートナー様) – 伊藤忠テクノソリューションズ株式会社 – 株式会社NTTデータ – 株式会社アシスト – ⽇鉄住⾦ソリューションズ株式会社 – ⽇本電気株式会社 – 株式会社⽇⽴ソリューションズ – 富⼠通株式会社 – 株式会社コーソル
6. 6 © 2022 Insight Technology, Inc. データベースに関連するナレッジと技術⼒を追求し ソフトウェア、ハードウェア、コンサルティングを最適に組み合わせてお客様に提供する会社です VALUE インサイトテクノロジーの強み
7. 7 © 2022 Insight Technology, Inc. データの価値を⾼める仕事しかしない DATABASE SECURITY PERFORMANCE TUNING DATABASE SERVER DATABASE CONSULTING MACHINE LEARNING db tech showcase DATA SHARING/INTEGRATION DATA on CLOUD
8. 8 © 2022 Insight Technology, Inc. コンサルティング ソフトウェア 対象データベース︓Oracle, SQL Server, MySQL, その他DB クラウド︓AWS, Azure, その他 ⽀援内容︓データインテグレーション、データベースの設計、構築、移⾏、運⽤⽀援、パフォーマンス改善 データベースの監査・セキュリティツール（⾃社開発） Oracle Standard Edition向け DR構築ソフトウェア （国内総代理店販売） 取扱い製品概要 SQLアセスメントツール（⾃社開発） マルチデータベースのリアルタイムレプリケーションソフトウェア （国内総代理店販売） Insight Data Masking︓マスキングツール（⾃社開発） データ仮想化ソフトウェア （国内代理店販売）
9. 楽々！TiDBへのデータ移⾏/ データベース移⾏ 9 © 2022 Insight Technology, Inc.
10. 10 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts TiDBへの移⾏ MySQL Oracle TiDB SQLServer DM provided by TiDB ？？？ ü MySQLファミリーDBからの移⾏の場合、TiDBからDMというツールが提供されている ü それ以外のDBからの移⾏はどうする？？
11. 11 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts TiDBへの移⾏ MySQL Oracle TiDB SQLServer DM provided by TiDB CSVファイル出⼒→ロード ü TiDBへの切替え時に許容されるサービス停⽌時間は？？ ※MySQL Replicationベースの移⾏ツール DMっぽいことをしてくれるツールは無いの？？ ？？？ データ量が数百DB以上だとキツイ な・・・
12. 12 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts TiDBへの移⾏ TiDBへの移⾏⽅式まとめ 移⾏元DB ⽅式 切替え時所要時間 MySQLベース TiDB提供のDM使⽤ 短い（〜10分程度） MySQLベース以外（Oracle,SQLServer等) CSV出⼒→データロード ⻑い（30分〜） 差分同期ができるツール 短い（〜10分程度）
13. Qlik Replicate 13 © 2022 Insight Technology, Inc.
14. 14 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts Qlik Replicate 異種データベース間のデータ・レプリケーション エージェントレス（データソース側への変更は最低限、負荷低） GUIによる簡易設定 データのフィルタリング・加⼯
15. 15 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts How to Data Replication Full Load 2.初期データをロード Change Data Capture Source DB Target DB SAL Dept Emp Select Replicate Insert SAL Dept Emp 変更ログ SAL Dept Emp INSERT UPDATE DELETE 変更データ適⽤ （SQL） SAL Dept Emp 1.変更データを取得 3.変更データを適⽤ 切替え時のダウンタイムを短くすることが可能
16. 16 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts Option: Insight Data Masking データをリプリケーションすると同時にデータをマスキング DBに特化したマスキングを実現（参照整合性、カーディナリティを維持） セキュアデータをAIが⾃動的に選出・マスクリコメンデーション CDC Incremental （マスキングデータ） Insight DM （.so, .dll） + Qlik Replicate Insight DM Manager アルゴリズム 設定ファイル Source DB Target DB ⽒名 ⽒名かな ⽒名カナ ⻘⽊ 幸博 あおき ゆきひろ アオキ ユキヒロ 中村 志津恵 なかむら しずえ ナカムラ シズエ ⽥島 昌弘 たじま まさひろ タジマ マサヒロ 遠藤 るり⼦ えんどう るりこ エンドウ ルリコ 松本 知⽣ まつもと ともお マツモト トモオ ⽒名 ⽒名かな ⽒名カナ 清万 於奄 ともほ ざろろひ バㇴネ ケユㇲズ 伷敷 朊瘧鶬 まふいわ けずど シエセマ シピㇳ 尼盶 銨繢 れきべ おきほぽ ポメキ ㇱメハュ 徹舘 びさ抯 へひくだ ぅはゑ ピテヘパ ガパナ 料懇 祀袏 ぜむよく こっひ イウツラ ㇹヺシ テスト期間中、本番のマスクデータを使ってテスト可能
17. 17 © 2022 Insight Technology, Inc. サポートプラットフォーム § Oracle § SQL Server § DB2 iSeries § DB2 z/OS § DB2 LUW § MySQL § PostrgeSQL § Sybase ASE § Informix § SAP HANA § ODBC § DB2 z/OS § IMS/DB § VSAM § COBOL Copybooks § ECC § ERP § CRM § SRM § GTS § MDG § SAP ECC - HANA § SAP HANA (database) § (on Oracle, SQL, DB2 LUW, HANA) Database Mainframe SAP § Exadata § Teradata § Netezza § Vertica § Pivotal § Amazon RDS (SQL Server, Oracle, MySQL, Postgres) § Amazon Aurora (MySQL) § Amazon Redshift § Azure SQL Server MI § Google Cloud SQL (MySQL, PostgreSQL) § Salesforce EDW Cloud SaaS § Delimited (e.g., CSV, TSV) Flat Files § RDS (MySQL, Postgres, MariaDB, Oracle, SQL Server) § Aurora (MySQL, Postgres) § S3 § EMR § Kinesis § Redshift § Snowflake § Databricks (Q2) § DBaaS (SQL DB) § DBaaS (MySQL, Postgres) § ADLS Gen1 & 2 § BLOB § HDInsight § Event Hub § Synapse (SQL DW) § Snowflake § Databricks § Cloud SQL (MySQL, Postgres) § Cloud Storage § Dataproc § Pub/Sub (ʻ20) § BigQuery ( ʻ20) § Snowflake (ʻ20) AWS Azure Google § Hortonworks § Cloudera § MapR § Amazon EMR § Azure HDInsight § Google Dataproc § Kafka § Amazon Kinesis § Azure Event Hubs § MapR Streams § Exadata § Teradata § Netezza § Vertica § Sybase IQ § SAP HANA § Microsoft PDW Data Lake Streaming EDW § Oracle § SQL Server § DB2 LUW § MySQL § PostgreSQL § Sybase ASE § Informix § MemSQL Database § SAP HANA (database) SAP § Delimited (e.g., CSV, TSV) Flat Files 詳細および最新の情報は下記サイトの「Supported Platforms and Endpoints」をご確認ください。 https://help.qlik.com/en-US/replicate/Content/Replicate/Home.htm Compose for Data Lake/ Data Warehouse ソース ターゲット
18. 18 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts 国内実績 出荷ライセンス数：820 導⼊社数：166 導⼊企業 50% 11% 10% 8% 4% 3% 3% 2% 2% 2% 1% 1% 1% 0% 0% 0% 0% サービス業 輸送⽤機器 保険業 情報・通信業 ⼩売業 電気機器 銀⾏業 その他⾦融業 機械 陸運業 証券・商品先物取引業 空運業 公共機関 医薬品 卸売業 化学 ⽯油・⽯炭製品 NECパーソナルコンピュータ株式会社 集計：2022年3⽉
19. 19 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts マイグレーション事例1 楽天株式会社 • 要件 ‒ DB停⽌時間 ３時間 ‒ DBサイズ 300GB/90テーブル ‒ 移⾏後のデータ整合性を確認 • 対策 ‒ Qlik Replicateによって3時間以内にデータ移⾏完了 ‒ データ整合性確認は10分で完了(HASH値のSUMを取得, 2億件/300GBをチェック) Replicate 1.初期データをロード Replicate 2.変更データを同期 3.同期停⽌・整合性確認 Oracle 10gR2 Oracle 11gR2 対象システム:ECシステム（会員情報管理DB）
20. 20 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts マイグレーション事例2 製造業 • 要件 ‒ 既存システムのDB2をPostgreSQLへ移⾏ ‒ データベース移⾏時の停⽌時間を最⼩化 ‒ データベース間のオブジェクト定義差を吸収して移⾏ ‒ AP移植のため開発環境のデータが必須 • 対策 ‒ Qlik Replicateにより開発環境へデータ準備を簡素化（開発期間2年） ‒ Qlik Replicateにより本番環境のデータ移⾏を実施 Replicate DB2 PostgreSQL 対象システム：Web⾒積システム
21. 21 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts ご参考：こんな使い⽅も可能です n TiDB上の業務データを別システム/分析基盤に連携したい TiDB Oracle Snowflake
22. 22 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts ご参考：こんな使い⽅も可能です TiDB Oracle Snowflake n TiDB上の業務データを別システム/分析基盤に連携したい PUMP PD PUMP PUMP MySQL Drainer ü TiDB Binlogの仕組みで、連係ソースDB⽤のMySQLにデータ連携 ü MySQLからQlik Replicateで連携先DBにニアリアルタイム連携
23. 23 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts TiDBへの移⾏ TiDBへの移⾏⽅式まとめ 移⾏元DB ⽅式 切替え時所要時間 MySQLベース TiDB提供のDM使⽤ 短い（〜10分程度） MySQLベース以外（Oracle,SQLServer等) CSV出⼒→データロード ⻑い（30分〜） 差分同期ができるツール 短い（〜10分程度） ü Qlik Replicate を利⽤することで（⽐較的）簡単に短いダウンタイムでTiDBに データ移⾏をすることが可能！
24. 24 © 2022 Insight Technology, Inc. 9 11 db tech showcase 2022 11 16 18 100 dbts 次は、 - SQL互換性確認ツール編 -