Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PayPayにおける 大規模インフラ運用自動化への取り組み

PayPay
November 04, 2022

PayPayにおける 大規模インフラ運用自動化への取り組み

Speaker: Tomoki Nishinaka
Presented at: 運用を楽にしよう!AWS Systems Manager 事例祭り

PayPay

November 04, 2022
Tweet

More Decks by PayPay

Other Decks in Technology

Transcript

  1. PayPayにおける
    大規模インフラ運用自動化への取り組み
    運用を楽にしよう!AWS Systems Manager 事例祭り
    1

    View full-size slide

  2. 2
    名前:Tomoki Nishinaka
    所属:PayPay株式会社 Cloud Infrastructure Team
    役割:Tech Lead
    好きなAWSサービス:
    AWS IAM Identity Center(AWS SSO)
    自己紹介

    View full-size slide

  3. 3
    登録ユーザー 5,100万人到達!

    PayPayについて
    ※ 2022年9月時点 当社調べ


    View full-size slide

  4. 4
    PayPayのシステム

    View full-size slide

  5. 5
    ❏ 脆弱性対応のためのデータ収集及び修正パッチ適用
    ● 運用台数が数千台規模のため、
    ○ SSHやAnsibleなどで情報収集は困難
    ○ 収集した情報を集中管理をする必要がある
    ○ 修正パッチを迅速に配信する必要がある
    ❏ 踏み台サーバの管理
    ● 入退社があるたびにユーザ・鍵管理が必要
    運用する上での課題

    View full-size slide

  6. 6
    ❏ Systems Managerの導入の前にやってよかったこと
    ● 全インフラのコード化を実施
    ○ Terraform Moduleを活用し、
    ■ EC2インスタンスのSSM必須化
    ■ 開発者がEC2を作成時に意識しなくても、自動的に
    SSM AgentやIAM Roleが設定される
    ■ レビュー時にうっかり、漏れを防ぐことができる
    ● Tagを全リソースに付与
    ○ 対象のEC2を特定する際、
    ■ Env: Stg, Resource: Kafka Env: Prod, Resource: Kubernetes
    ● などとつけることで、対象を
    APIで検索しやすくなります。
    ○ これもTerraform Moduleで自動的に入る変数と開発者が設定出来る変数を用意しています。
    ● IAM Userから AWS IAM Identity Center(AWS SSO)への移行
    ○ IAM Userの管理の煩雑さからの開放
    ■ IAM Userの API KEYの流出リスクの軽減
    ■ ID Providerの連携による、アカウント作成・削除の容易さ
    SystemsManager導入事例

    View full-size slide

  7. ❏ State Managerによる脆弱性スキャン
    ● SSMが入っているすべてのアカウント、すべての
    EC2インスタンスを自動で定期的にスキャン
    7
    導入事例紹介
    Systems Manager
    State Manager
    Documents
    脆弱性スキャン
    Target -> instance id:*
    Cron -> 0 */1 * * *

    View full-size slide

  8. ❏ State ManagerによるEDR導入・更新
    ● EDRを強制的にSSM経由で導入・更新を実施
    9
    導入事例紹介
    Systems Manager
    State Manager
    Documents 
    EDR v1
    導入 / 更新
    Target -> Resource: Kafka
    Cron -> 0 */1 * * *
    EDR: Endpoint Detection and Response

    View full-size slide

  9. ❏ State ManagerによるEDR導入・更新
    ● EDRを強制的にSSM経由で導入・更新を実施
    10
    導入事例紹介
    Systems Manager
    State Manager
    Documents 
    EDR v2
    導入 / 更新
    Target -> Resource: Kafka
    Cron -> 0 */1 * * *
    EDR: Endpoint Detection and Response

    View full-size slide

  10. 11
    ❏ 踏み台サーバ管理の変更
    ● 必要な時間だけ、踏み台サーバの権限を付与剥奪するシステムを内部で作成
    ○ SSMのRoleは、AWS IAM Identity Center(AWS SSO)のPermissionSetで管理
    導入事例紹介
    開発者 踏み台サーバ
    ①IAM Identity Center経由でSSMの
     Roleを時限で付与
    ②SSM経由で踏み台サーバを利用
    システム
    IAM Identity Center

    View full-size slide

  11. 12
    ❏ 踏み台サーバ管理の変更
    ● 必要な時間だけ、踏み台サーバの権限を付与剥奪するシステムを内部で作成
    ○ SSMのRoleは、AWS IAM Identity Center(AWS SSO)のPermissionSetで管理
    導入事例紹介
    開発者 踏み台サーバ
    ①IAM Identity Center経由でSSMの
     Roleを時限で付与
    ②SSM経由で踏み台サーバを利用
    システム
    IAM Identity Center
    Session Manager を利用することで、
    ● 開発者/管理者は、SSH鍵の管理が必要なくなった
    ● CloudWatch LogsやCloudTrailなどでAuditが容易

    View full-size slide

  12. 13
    ❏ ログインユーザがssm-user固定でAuditやり難いのでは?
    Session Manager Tips

    View full-size slide

  13. 14
    ❏ SSMSessionRunAs を設定することで任意のOSユーザにログインできる
    Session Manager Tips

    View full-size slide

  14. 15
     Systems Manager導入により、
    システムのセキュリティを向上できた!
    システムの運用も効率化できた!
    まとめ

    View full-size slide

  15. 16
    仲間を募集しています
    16
    採用ページはこちら

    View full-size slide