マイクロサービス導入により生まれた組織課題に対するソリューションとしてのTiDB/Developers Summit 2024 TiDB Sponsor Session

Transcript

1. マイクロサービス導⼊により⽣まれた 組織課題に対するソリューションとしてのTiDB イオンスマートテクノロジー株式会社 CTO室 SREチーム リーダー ⾹⻄ 俊幸
2. This session is sponsored by ... Developers Summit 2024
3. • ⾃⼰紹介 • 会社紹介 • TiDBとTiDB Cloudについて • TiDB Cloud導⼊検討の背景 • マイクロサービス導⼊により⽣まれる課題 • TiDB Cloud導⼊によりどう変わるのか • まとめ Agenda Developers Summit 2024
4. ⾃⼰紹介
5. 所属 • イオンスマートテクノロジー株式会社 • CTO室SREチームリーダー兼DevRel担当 • 2023年8⽉より現職（DevRelは12⽉ぐらいから） コミュニティ運営 • NRUG（New Relic User Group）SRE⽀部 • Cloudflare Meetup Nagano • TiUG（TiDB User Group） その他 • 2021年8⽉に⻑野県佐久市へ移住 • 3児の⽗ ⾹⻄ 俊幸 aka @Tocyuki ⾃⼰紹介
6. 会社紹介
7. • イオンのデジタルシフト戦略を担う会社の位置付けで2020年10⽉に設⽴ • お客様のお買い物体験向上と店舗DXを進める イオンスマートテクノロジーについて 会社紹介
8. イオンスマートテクノロジーのミッション 会社紹介
9. 膨⼤なIDと購買データを集約したアプリ「iAEON」 会社紹介 iAEONはイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを⼀つのアプリに統合しています。 提供開始から約3年で、iAEONは500万⼈以上の会員を抱え、独⾃のコード決済サービス「イオンペイ」は836万⼈ （23年5⽉時点）が利⽤しています。
10. テックブログ Meetup エンジニア向け採⽤サイト オウンドメディア 1 2 3 4 会社紹介 イオングループのエンジニ アたちにより、 Zennの Publicationで運⽤されてい るテックブログ 毎⽉オンライン or オフライ ンで実施されているAEON 主催のテック系イベント イオンスマートテクノロ ジーをはじめとしたグルー プ内テック系企業のエンジ ニア向け採⽤ページ AEONグループの社員イン タビューや登壇レポート、 イベントのお知らせなどの 様々な記事をお届けします
11. 来週2/21(⽔)19:00からやります︕ 会社紹介 https://aeon.connpass.com/event/308065/
12. TiDBとTiDB Cloudについて
13. • PingCAP社が開発するMySQL CompatibleなNewSQL • 複数コンポーネントからなる分散データベースシステム • HTAP（Hybrid Transactional and Analytical Processing） • 無限のスケーラビリティ TiDBとは TiDBとTiDB Cloudについて
14. • TiDB, TiDB Cloudの開発元 • 800億以上の資⾦調達に成功し、積極的な事業展開を⾏なっている • 元InnoDB開発者のSunny Bainsなど、国内外でDBのスペシャリストた ちが集まってきている • PingCAP JapanにもTiKVのCore Developerが在籍 PingCAP社について TiDBとTiDB Cloudについて
15. NewSQLとは TiDBとTiDB Cloudについて DBMS CAP ACID 拡張性 ⼀貫性 可⽤性 分断耐性 RDBMS ⭕ ⭕ ❌ ⭕ 🔺 NoSQL ❌ ⭕ ⭕ ❌ ⭕ NewSQL ⭕ 🔺 ⭕ ⭕ ⭕
16. MySQL CompatibleなNewSQL TiDBとTiDB Cloudについて プロダクト 互換性 GitHub Star数 ライセンス 開発元 Cloud Spanner PostgreSQL - 商⽤ Google CockroachDB PostgreSQL 28.4k OSS Cockroach Labs YugabyteDB PostgreSQL 8.3k OSS Yugabyte, Inc. TiDB MySQL 35.5k OSS PingCAP ※TiDB単体
17. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png
18. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png MySQLプロトコルの接続エンドポイン トを外部に公開するステートレスSQLレ イヤー。データは保存されず、コン ピューティングと SQL 分析のみを⽬的 としており、実際のデータ読み取りリク エストを TiKV ノード (またはTiFlash ノード) に送信する。Golang製OSS。
19. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png 分散トランザクション型のKey-Value データベースでデータの永続化には RocksDBが使われている。CNCFによっ てホストされているRust製のOSSであり、 すでにGraduatedステータスとなってい る。
20. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png データを列ごとに保存し、主に分析処 理を⾼速化するように設計された HTAPを実現するためのコンポーネン ト。C++製OSS。
21. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png PD(PlacementDriver)はTiDB クラス ター全体の「頭脳」となるメタデータ管 理コンポーネント。管理 UI を提供し、 分散トランザクションにトランザクショ ン ID を割り当てる役割も持つ。Golang 製OSS。
22. 複数コンポーネントからなる分散データベースシステム TiDBとTiDB Cloudについて https://github.com/pingcap/tidb/blob/master/docs/tidb-architecture.png NW遅延加算によるレイテ ンシがあるため数msを求 められるような性能要件の システムには不向き
23. HTAP TiDBとTiDB Cloudについて • Hybrid Transactional and Analytical Processingの略 • OLTPとOLAPのワークロードを同じアーキテクチャで処理できてワーク ロードが互いに⼲渉しない • OLTP (Online Transaction Processing) • RDBで⾏うようなリアルタイムトランザクションの管理と処理 • OLAP(Online Analytical Processing) • DWHなどで⾏うような⼤量データの⾼速なデータ分析
24. HTAP TiDBとTiDB Cloudについて Online Application Reporting/BI App Server OLTP database OLAP database ETL 従来のハイブリッドワークロードシナリオ
25. HTAP TiDBとTiDB Cloudについて Online Application Reporting/BI App Server TiDBによるHTAPの実現
26. • PingCAP社が提供するDBaaS • 2024年2⽉現在、AWS / Google Cloudで提供されている（Azureはよ） • ServerlessとDedicatedを選択可能（ServerlessはAWSのみの提供） TiDB Cloudとは TiDBとTiDB Cloudについて
27. DedicatedとServerless⽐較 TiDBとTiDB Cloudについて 項⽬ Dedicated Serverless 提供IaaS AWS, GCP AWS 課⾦体系 リソース 利⽤容量＆クエリ 接続⽅式 Public: Internet Private: Private Link, VPC Peering Public: Internet Private: Private Link スケール 操作に基づくスケール オートスケール 機能制限 - いろいろと制限あり バージョン 最新のLTS 最新バージョン https://docs.pingcap.com/ja/tidbcloud/limited-sql-features
28. TiDB Cloud導⼊検討の背景
29. • スケーラビリティ • シャーディングによる運⽤コストと複雑性の増加 • メンテナビリティとメンテナンス時の運⽤負荷 • MySQL8対応 データベースに抱えていた課題 TiDB Cloud導⼊検討の背景 しか勝たんのでは︖
30. TiDB Cloudの導⼊を視野に共同検証を開始 TiDB Cloud導⼊検討の背景
31. マイクロサービス導⼊により⽣まれる課題
32. • 開発スコープを⼩さくして開発スピードを上げる • 開発スコープを分離してコストを適切に管理・最適化する • サービスを分離して障害の影響範囲を極⼩化する ⼈はマイクロサービスに何を期待するのか TiDB Cloud導⼊検討の背景
33. 弊社の場合... マイクロサービス導⼊により⽣まれる課題 https://speakerdeck.com/aeonpeople/cndt2023-ionkakuberneteswocai-yong-sitetounatuta?slide=9
34. ⽒、⽈く マイクロサービス導⼊により⽣まれる課題 Martin Fowler⽒ 出典: https://martinfowler.com/bliki/MonolithFirst.html 成功したマイクロサービスのストーリーのほとんどは、⼤き くなりすぎたモノリスを分割するところから始まっている。 マイクロサービスシステムとしてゼロから構築されたシステ ムは、ほとんどすべてのケースで深刻なトラブルに⾒舞われ ている。
35. ⽒、⽈く マイクロサービス導⼊により⽣まれる課題 Martin Fowler⽒ 出典: https://martinfowler.com/bliki/MonolithFirst.html 成功したマイクロサービスのストーリーのほとんどは、⼤き くなりすぎたモノリスを分割するところから始まっている。 マイクロサービスシステムとしてゼロから構築されたシステ ムは、ほとんどすべてのケースで深刻なトラブルに⾒ 舞われている。
36. 弊社、深刻なトラブルに⾒舞われています マイクロサービス導⼊により⽣まれる課題 どちゃくそアンチパターン 踏み抜いてるやないかい... とあるイオンピーポー
37. • ドメイン境界設定に起因するサービス分割の失敗 • マイクロサービス間のトランザクション管理 • マイクロサービスとリンクしていない組織設計 よくある(?)マイクロサービス導⼊後の課題 マイクロサービス導⼊により⽣まれる課題
38. • ドメイン境界設定に起因するサービス分割の失敗 • マイクロサービス間のトランザクション管理 • マイクロサービスとリンクしていない組織設計 よくある(?)マイクロサービス導⼊後の課題 マイクロサービス導⼊により⽣まれる課題 技術的な課題
39. ドメイン境界設定に起因するサービス分割の失敗 マイクロサービス導⼊により⽣まれる課題 • マイクロサービス間で依存関係を持たせることなく良い感じにサービス 分割したり切り分けるのはシンプルに難しい • 適切な切り⽅には深いドメイン知識が必要で後からわかることも多い • マイクロサービス間の依存度に応じたI/Fの増加 • 多発する循環参照とデプロイの複雑度上昇
40. マイクロサービス間のトランザクション管理 マイクロサービス導⼊により⽣まれる課題 • 所謂(?)分散トランザクション • 分散トランザクションはシンプルに設計や実装の難易度が⾼い • Sagaパターン • TCC(Try/Confirm/Cancel)パターン • XA • 分散トランザクションが発⽣した時点で設計の敗北まである(諸説ある)
41. • ドメイン境界設定に起因するサービス分割の失敗 • マイクロサービス間のトランザクション管理 • マイクロサービスとリンクしていない組織設計 よくある(?)マイクロサービス導⼊後の課題 マイクロサービス導⼊により⽣まれる課題 技術的な課題 システムアーキテクチャーや実装の課 題なのでTiDBで直接的に解決するこ とは中々むずかしいが、TiDBに集約 することでアーキテクチャーや実装の 選択肢を増やすことはできる (マイクロサービスとは︖)
42. • ドメイン境界設定に起因するサービス分割の失敗 • マイクロサービス間のトランザクション管理 • マイクロサービスとリンクしていない組織設計 よくある(?)マイクロサービス導⼊後の課題 マイクロサービス導⼊により⽣まれる課題 組織的な課題
43. マイクロサービスとリンクしていない組織設計 マイクロサービス導⼊により⽣まれる課題 • マイクロサービスは究極組織論である（諸説ある） • 適切なサービス分割とリンクした組織設計がセットで必要 • 組織構造はそのままにマイクロサービス化されることも（つらい） • アーキテクチャドリブンな逆コンウェイ戦略は組織最適化の動機付けと しては弱い（個⼈的⾒解＆経験談） • マイクロサービスにしたから組織も良い感じに最適化される⼒学が働くとは限らな い
44. （再掲）弊社の場合... マイクロサービス導⼊により⽣まれる課題 https://speakerdeck.com/aeonpeople/cndt2023-ionkakuberneteswocai-yong-sitetounatuta?slide=9
45. 弊社の開発組織の⼀部 マイクロサービス導⼊により⽣まれる課題 API基盤開発チーム 運⽤保守チーム API基盤 API 2 DB API 3 API 1 DB API XX DB API 4 DB ・・・ 会員基盤 OIDC DB User Auth 会員基盤開発チーム Microservice Microservice Microservice Microservice Microservice アプリ基盤 BFF Message Native App アプリ基盤開発チーム App API DB SREチーム
46. 弊社の開発組織の⼀部 マイクロサービス導⼊により⽣まれる課題 SREチーム API基盤 API 2 DB API 3 API 1 DB API XX DB API 4 DB ・・・ 会員基盤 OIDC DB User Auth 会員基盤開発チーム Microservice Microservice Microservice Microservice Microservice アプリ基盤 BFF Message Native App アプリ基盤開発チーム App API DB 主にこのAPI基盤のこと API基盤開発チーム 運⽤保守チーム
47. 弊社の開発組織の⼀部 マイクロサービス導⼊により⽣まれる課題 SREチーム API基盤 API 2 DB API 3 API 1 DB API XX DB API 4 DB ・・・ 会員基盤 OIDC DB User Auth 会員基盤開発チーム Microservice Microservice Microservice Microservice Microservice アプリ基盤 BFF Message Native App アプリ基盤開発チーム App API DB DevとOpsが分離したまま API基盤開発チーム 運⽤保守チーム vs
48. • Opsが各マイクロサービスの役割を把握できない状況に • マイクロサービス間に依存関係がありメンテナンスの調整が⼤変 • DBのバージョンアップ対応などマイクロサービスの数だけOpsでメンテ ナンスでやる必要があり⼤変 • 得意⽇やキャンペーン時のDBスケールアップ対応もメンテナンスを挟む 必要があり⼤変 • これらOpsのツラミは⽂字通り運⽤でカバーすることに DevとOpsが別れたままマイクロサービス、どうなった︖ マイクロサービス導⼊により⽣まれる課題
49. マイクロサービス導⼊により⽣まれた組織課題 マイクロサービス導⼊により⽣まれる課題 運⽤負荷の増⼤ 運⽤でカバー ここを少しでもなんとかしたい
50. TiDB Cloud導⼊によりどう変わるのか
51. メンテナンスによる運⽤負荷の改善 TiDB Cloud導⼊によりどう変わるのか DB作業内容 現在 TiDB導⼊後 スケールアップ メンテナンスあり メンテナンス不要 バージョンアップ メンテナンスあり メンテナンス不要 DDLの実⾏ メンテナンスあり ※ものによりけり メンテナンス不要 シャーディング メンテナンスあり メンテナンス不要 ※シャーディング不要
52. オンラインスケールアップ＆スケールアウト TiDB Cloud導⼊によりどう変わるのか
53. オンラインDDLの実⾏ TiDB Cloud導⼊によりどう変わるのか
54. オンラインDDLの実⾏ TiDB Cloud導⼊によりどう変わるのか tidb_ddl_reorg_worker_cnt という パラメーターを調整することで⾼速化が可能
55. ⾃動シャーディング＆バージョンアップ TiDB Cloud導⼊によりどう変わるのか アプリケーション側での実装は不要
56. データベース運⽤のツラミからの開放 TiDB Cloud導⼊によりどう変わるのか とあるイオンピーポー
57. まとめ
58. • TiDBはMySQL CompatibleなNew SQLでHTAPを実現するプロダクト • マイクロサービスは⼿段であり⽬的ではない • アーキテクチャと組織設計の不整合のつけは運⽤にのしかかる • TiDB Cloudが提供する無停⽌で実現される無限のスケーラビリティと安 定稼働によりもたらされる運⽤負荷の削減に期待 • はやくAzureでもTiDB Cloud使えるようにしてクレメンス まとめ Developers Summit 2024
59. 幅広いポジションで積極的に採⽤中です︕︕ We are hiring
60. ☆TiDB Cloud 特別キャンペーン！ TiDB Cloudに無料サインアップいただくと抽選で20名様に 以下いずれかのノベルティをプレゼント。 ※申込期限は2024年2月22日(木) 午後15:00まで。 ②TiDBロゴ 刺繍のシャツ ①TiDB認定資格試験 「PCTA」無料パス ※2万円相当 申込フォーム ※Yシャツのデザインはイメージで 実物とは異なる可能性があります。