PayPayにおける 大規模インフラ運用自動化への取り組み 運用を楽にしよう！AWS Systems Manager 事例祭り 1

2 名前：Tomoki Nishinaka 所属：PayPay株式会社 Cloud Infrastructure Team 役割：Tech Lead 好きなAWSサービス： AWS IAM Identity Center(AWS SSO) 自己紹介

3 登録ユーザー 5,100万人到達！
 PayPayについて ※ 2022年9月時点 当社調べ


4 PayPayのシステム

5 ❏ 脆弱性対応のためのデータ収集及び修正パッチ適用 ● 運用台数が数千台規模のため、 ○ SSHやAnsibleなどで情報収集は困難 ○ 収集した情報を集中管理をする必要がある ○ 修正パッチを迅速に配信する必要がある ❏ 踏み台サーバの管理 ● 入退社があるたびにユーザ・鍵管理が必要 運用する上での課題

6 ❏ Systems Managerの導入の前にやってよかったこと ● 全インフラのコード化を実施 ○ Terraform Moduleを活用し、 ■ EC2インスタンスのSSM必須化 ■ 開発者がEC2を作成時に意識しなくても、自動的に SSM AgentやIAM Roleが設定される ■ レビュー時にうっかり、漏れを防ぐことができる ● Tagを全リソースに付与 ○ 対象のEC2を特定する際、 ■ Env: Stg, Resource: Kafka Env: Prod, Resource: Kubernetes ● などとつけることで、対象を APIで検索しやすくなります。 ○ これもTerraform Moduleで自動的に入る変数と開発者が設定出来る変数を用意しています。 ● IAM Userから AWS IAM Identity Center(AWS SSO)への移行 ○ IAM Userの管理の煩雑さからの開放 ■ IAM Userの API KEYの流出リスクの軽減 ■ ID Providerの連携による、アカウント作成・削除の容易さ SystemsManager導入事例

❏ State Managerによる脆弱性スキャン ● SSMが入っているすべてのアカウント、すべての EC2インスタンスを自動で定期的にスキャン 7 導入事例紹介 Systems Manager State Manager Documents 脆弱性スキャン Target -> instance id:* Cron -> 0 */1 * * *

❏ State ManagerによるEDR導入・更新 ● EDRを強制的にSSM経由で導入・更新を実施 9 導入事例紹介 Systems Manager State Manager Documents　 EDR v1 導入 / 更新 Target -> Resource: Kafka Cron -> 0 */1 * * * EDR: Endpoint Detection and Response

❏ State ManagerによるEDR導入・更新 ● EDRを強制的にSSM経由で導入・更新を実施 10 導入事例紹介 Systems Manager State Manager Documents　 EDR v2 導入 / 更新 Target -> Resource: Kafka Cron -> 0 */1 * * * EDR: Endpoint Detection and Response

11 ❏ 踏み台サーバ管理の変更 ● 必要な時間だけ、踏み台サーバの権限を付与剥奪するシステムを内部で作成 ○ SSMのRoleは、AWS IAM Identity Center(AWS SSO)のPermissionSetで管理 導入事例紹介 開発者 踏み台サーバ ①IAM Identity Center経由でSSMの 　Roleを時限で付与 ②SSM経由で踏み台サーバを利用 システム IAM Identity Center

12 ❏ 踏み台サーバ管理の変更 ● 必要な時間だけ、踏み台サーバの権限を付与剥奪するシステムを内部で作成 ○ SSMのRoleは、AWS IAM Identity Center(AWS SSO)のPermissionSetで管理 導入事例紹介 開発者 踏み台サーバ ①IAM Identity Center経由でSSMの 　Roleを時限で付与 ②SSM経由で踏み台サーバを利用 システム IAM Identity Center Session Manager を利用することで、 ● 開発者/管理者は、SSH鍵の管理が必要なくなった ● CloudWatch LogsやCloudTrailなどでAuditが容易

13 ❏ ログインユーザがssm-user固定でAuditやり難いのでは？ Session Manager Tips

14 ❏ SSMSessionRunAs を設定することで任意のOSユーザにログインできる Session Manager Tips

15 　Systems Manager導入により、 システムのセキュリティを向上できた！ システムの運用も効率化できた！ まとめ

16 仲間を募集しています 16 採用ページはこちら

18 APPENDIX