Infrastructure In PayPay

Transcript

1. ©PayPay Corporation Infrastructure in PayPay 2023/12/12 青木 真也 PayPay株式会社 Product統括本部 Technology & Core Components本部 Infrastructure Technology部
2. ©PayPay Corporation 2 ©PayPay Corporation 自己紹介 青木 真也 / Shinya Aoki 名前 所属・役職 略歴 PayPay株式会社 Product統括本部 Technology & Core Components本部 Infrastructure Technology部 部長 2010年ヤフー（現：LINEヤフー株式会社）に新卒入社、IDシステ ムの開発エンジニア・リーダーを経験後、2016年から3年間決済 金融部門のTechnical Directorを務める。 PayPayには立ち上げ期か ら関わり、2019年出向、その後、2020年4月PayPayへ入社。複数 のバックエンドチームでTech Leadやマネージャーを務め、2022年 11月より現職。
3. ©PayPay Corporation PayPayについて
4. ©PayPay Corporation 4 ©PayPay Corporation PayPayについて PayPay登録者数 6,000万人 （2023年10月時点） 一般社団法人キャッシュレス推進協議会の開示資料（2021年度の国内QRコード決済利用動向調査結果）から「PayPay」の比率を集計、PayPay調べ 利用シェア率 / 決済回数 国内No.1 QR 決済プラットフォーム
5. ©PayPay Corporation 5 ©PayPay Corporation PayPayについて PayPay登録者数 6,000万人 （2023年10月時点） 一般社団法人キャッシュレス推進協議会の開示資料（2021年度の国内QRコード決済利用動向調査結果）から「PayPay」の比率を集計、PayPay調べ 利用シェア率 / 決済回数 国内No.1 QR 決済プラットフォーム
6. ©PayPay Corporation 6 ©PayPay Corporation PayPayについて 2018年10月 サービス開始当初 2019年4月 2020年4月 2021年6月 2022年3月 アプリアップデート ほぼ毎週、年間約50回
7. ©PayPay Corporation 7 ©PayPay Corporation PayPayについて ⾦融 O2O 決済 公共料⾦・⾏政サービス 便利なサービス 飲⾷ スーパー/ コンビニ ドラッグ ストア 本屋 オンライン サービス 美容院 ⼩売店 取引履歴 わりかん きせかえ 利⽤レポート 送る・受け取る Tポイントカード 請求書払い 本⼈確認 ふるさと納税 PCR検査キット 新型コロナ通知 マイナポイント フリー マーケット 売上⾦チャージ 銀⾏⼝座登録 PayPay銀⾏ キャリア決済 クレジットカード ATMチャージ あと払い ローン ボーナス運⽤ 実投資 保険 フード デリバリー クーポン テイクアウト タクシー配⾞ テーブル注⽂ スマホ充電 スタンプカード 経費精算 チラシ 暮らしのすべてをスマホ1つで可能にするスーパーアプリ PayPayを起点として生活を便利にする
8. ©PayPay Corporation 8 ©PayPay Corporation PayPayについて – Product – PayPayサービスの インフラを 扱うチーム PdM PMO Design FE / BE Mobile QA Data ML / AI Product Infra Platform
9. ©PayPay Corporation Infrastructure in PayPay
10. ©PayPay Corporation 10 ©PayPay Corporation Infrastructure in PayPay AWS Key Managemen t Service (AWS KMS) Amazon Managed Streaming for Apache Kafka Google Cloud Big Query
11. ©PayPay Corporation 11 ©PayPay Corporation Infrastructure in PayPay 2018/10/5 2019 2020 2021 2022 2023 Region Kubernetes Database Tokyo Region + Osaka Region (Backup only) Osaka Region Primary Cluster Osaka Cluster Secondary Cluster TiDB RDS Aurora
12. ©PayPay Corporation 12 ©PayPay Corporation Infrastructure in PayPay 2018/10/5 2019 2020 2021 2022 2023 Region Kubernetes Database Tokyo Region + Osaka Region (Backup only) Osaka Region Primary Cluster Osaka Cluster Secondary Cluster RDS Aurora TiDB 1. TiDB 2. マルチリージョン・マルチクラス タ
13. ©PayPay Corporation TiDB
14. ©PayPay Corporation 14 ©PayPay Corporation TiDB Why TiDB ? • OSS • 分散DB • Worldwideで本番環境導入の実績 • MySQL互換 • 水平スケールが可能 • 強い整合性を持つトランザクション • DBの機能を複数のコンポーネントで実現 背景 2019年当時、今後のビジネス拡大を考慮し、以下が懸念事項に • クラスタサイズリミット・テーブルサイズリミット • 高負荷時のWriteスループット
15. ©PayPay Corporation 15 ©PayPay Corporation TiDB TiDB History in PayPay 2018/10/5 2019 2020 2021 2022 2023 取引履歴に導入 決済フローに導入 残高処理に導入 水平スケール 100TiB超のクラスタ運用 マルチリージョン構成
16. ©PayPay Corporation 16 ©PayPay Corporation TiDB よかった点 • 当初の懸念点の解消 ◦ 水平スケールによるキャパシティ拡張 ◦ 更新系パフォーマンス改善 • MySQLとの高い互換性によるアプリケーション改修工数の抑制 • インスタンス障害時の影響軽減 • 移行対応による既存システム及びTiDBのスキルおよび知識の向上
17. ©PayPay Corporation 17 ©PayPay Corporation TiDB 懸念点・改善点 • 参照系パフォーマンスがわずかに悪化 • 運用面とコスト面から物理的な参照ワークロードの分散がしづらい • 無制限にできるスケールアウトによるコストコントロールの難しさ よかった点 • 当初の懸念点の解消 ◦ 水平スケールによるキャパシティ拡張 ◦ 更新系パフォーマンス改善 • MySQLとの高い互換性によるアプリケーション改修工数の抑制 • インスタンス障害時の影響軽減 • 移行対応による既存システム及びTiDBのスキルおよび知識の向上
18. ©PayPay Corporation マルチリージョン・マルチクラスタ
19. ©PayPay Corporation 19 ©PayPay Corporation マルチリージョン・マルチクラスタ 状況と対応 • 当時はシングルクラスタ・マルチアベイラビリティーゾーン構成 • 大阪リージョンもバックアップデータの保管先として当初から利用 • アプリケーションレベルでのマルチリージョン構成に向け、大阪リージョ ンにKubernetesクラスタを構築することで必然的にマルチクラスタ構成 に • 柔軟なオペレーションと可用性を考慮し東京もマルチクラスタに • より運用効率かつコスト効率の良い構成の構築が必要 背景 • AWS大阪リージョンがフルリージョンに（2021年3月） • より高い可用性の実現に向けて
20. ©PayPay Corporation 20 ©PayPay Corporation Application Load Balancer マルチリージョン・マルチクラスタ AWS 東京リージョン AWS Key Management Service (AWS KMS) Amazon Elastic Container Registry (Amazon ECR) AWS 大阪リージョン (バックアップ)
21. ©PayPay Corporation 21 ©PayPay Corporation Application Load Balancer マルチリージョン・マルチクラスタ Application Load Balancer AWS 大阪リージョン AWS 東京リージョン レプリケーション AWS Key Management Service (AWS KMS) Amazon Elastic Container Registry (Amazon ECR) AWS Key Management Service (AWS KMS) Amazon Elastic Container Registry (Amazon ECR) プライマリ セカンダリ
22. ©PayPay Corporation 22 ©PayPay Corporation マルチリージョン・マルチクラスタ コスト効率 • マルチリージョン対象の選定 • 適切なサイジング マルチリージョン • Terraformモジュールを用いた 構成管理の共通化 ◦ 両リージョンでの構成一貫 性 ◦ 非属人化 ◦ Tagなどの柔軟性は維持 • 東京セカンダリクラスタ、大阪 クラスタのサイジング(Pod数コ ントロール)を自動化 マルチクラスタ • マイクロサービスのKubernetes マニフェスト管理の標準化 • マルチクラスタ環境でのジョブ 起動コントロール 運用効率
23. ©PayPay Corporation まとめ
24. ©PayPay Corporation 24 ©PayPay Corporation まとめ PayPayがローンチされてから5年、サービスの成長とともにインフラも成長 TiDBの導入により スケール限界からの解放・パフォーマンス改善 さらなる可用性に向け シングルクラスタ・マルチアベイラビリティーゾーン構成から マルチクラスタ・マルチリージョン・マルチアベイラビリティーゾーン構成へ Infrastructure in PayPay PayPayインフラの挑戦は続く
25. ©PayPay Corporation 25 Diverse & Multinational Professionals From around 50 countries -World class Engineering Organization-
26. ©PayPay Corporation 26 ©PayPay Corporation 50カ国以上から集まった人材でつくる多様性のある組織カルチャー 誕生して5年余りの会社であるからこそのモダンな開発環境 爆速で成長中の企業ならではの技術的課題とスケール感 組織の成長とともに増える成長の機会 ユーザーへの大きな価値と社会的なインパクト PayPay Developersとしての楽しさ・やりがい
27. ©PayPay Corporation 27 ©PayPay Corporation Let’s Join us! 採用ページはこちら https://about.paypay.ne.jp/career/
28. ©PayPay Corporation Thank you