HashiCorpと歩むPlatform Engineeringジャーニー/the-journey-of-platform-engineering-with-hashicorp

HashiCorp Strategy Day Japan 2024(https://events.hashicorp.com/strategydayjapan2024) での発表資料です。

Transcript

1. HashiCorpと歩む Platform Engineeringジャーニー イオンスマートテクノロジー株式会社 SREチーム 齋藤 光 HashiCorp Strategy Day Japan 2024
2. ⾃⼰紹介
3. ⾃⼰紹介 齋藤光( @hikkie13 ) イオンスマートテクノロジー株式会社(AST) DevSecOps Div SREチーム所属 (2022/5⼊社） ⼊社以来、SREの⽴ち上げに従事 直近の登壇： - SRE NEXT 2023 - CloudNative Days Tokyo 2023 - PagerDuty on Tour TOKYO 2024 趣味：ヨガ(RYT200)
4. 会社紹介
5. イオングループ紹介 - 関連数字 https://www.aeon.info/company/ - "INFOGRAPHICS 数字で⾒るイオングループ "
6. 会社紹介
7. 会社紹介
8. iAEONアプリについて 膨⼤なIDと購買データを集約したアプリ「iAEON」 iAEON（アイイオン）はイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを⼀つのアプリに統合しています。 提供開始から約3年で、iAEONは880万⼈以上の会員を抱え（24年8⽉時点）、総ダウンロード数は1000万を2024年6⽉に突破しました。
9. iAEONアプリについて 膨⼤なIDと購買データを集約したアプリ「iAEON」 iAEON（アイイオン）はイオングループが提供する決済機能やポイントプログラムを1つにまとめたアプリです。 イオングループ内の多数の事業会社がもつ顧客IDを⼀つのアプリに統合しています。 提供開始から約3年で、iAEONは880万⼈以上の会員を抱え（24年8⽉時点）、総ダウンロード数は1000万を2024年6⽉に突破しました。 https://prtimes.jp/main/html/rd/p/000004399.000007505.html
10. Agenda • SREチームの役割 • ASTとPlatform Engineering • ASTにおけるHashiCorp Productの活⽤ • 展望
11. SREチームの役割
12. SREチームにまつわるトポロジー Stream-Aligned Team Platform Team Enabling Team SREチーム https://amzn.asia/d/9e7akXD 2つの側⾯を持ち合わせる Enabling • Stream-Aligned(SA)チームへSREのインストール • 整備したツール/基盤の伝承と伴⾛ • 定点観測会など定期的にSAチームとcommunication Platform • インフラ基盤⾃体の改善(Azure) • セルフサービスの提供（徐々に拡⼤中） • ツール/基盤の整備
13. AST と Platform Engineering
14. ASTを取り巻く状況(1): 増え続けるプロダクト 2020年 2021年 2022年 2023年 2024年 サービス数 ＋
15. ASTを取り巻く状況(1): 増え続けるプロダクト 情報共有&連携 SREチーム プロダクトA プロダクトB プロダクトD プロダクトC Platform ツール など 課題や要望を⼀般化 Enabling Enabling Enabling Enabling
16. ASTを取り巻く状況(1): 増え続けるプロダクト SREチーム SAチーム SAチーム SAチーム SAチーム SAチーム SAチーム 💥🔥💥🔥💥🔥💥
17. ASTを取り巻く状況(2): 多様なツール • 共通的なツールとして随時整備している • 常に、SAチームにケイパビリティを与えることを意識 • 監視/オブザーバビリティやアラートツールは最早運⽤チームの為のものではない • ツール導⼊後、⼩慣れるまでの時間は要する
18. ASTを取り巻く状況(3): 多様な技術 Platform Engineer⾃⾝の認知負荷が⾼い
19. ASTを取り巻く状況(3): 多様な技術 Azureと⼀⼝に⾔っても選択肢、ツールが沢⼭ある
20. ASTを取り巻く状況(4): 多様性のあるSAチーム • チームによって異なるリソース充⾜度 • チームによって異なるケイパビリティ アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アーキテクトがいる アーキテクトがいる アーキテクトがいる インフラわかる インフラわかる SREの実践 誰が為のPlatform?
21. ASTを取り巻く状況(4): 多様性のあるSAチーム • チームによって異なるリソース充⾜度 • チームによって異なるケイパビリティ アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アーキテクトがいる アーキテクトがいる アーキテクトがいる インフラわかる インフラわかる SREの実践 誰が為のPlatform? ↑Platformを提供すれば解決するのか？
22. ASTを取り巻く状況(4): 多様性のあるSAチーム • チームによって異なるリソース充⾜度 • チームによって異なるケイパビリティ アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アプリケーションコード開発 アーキテクトがいる アーキテクトがいる アーキテクトがいる インフラわかる インフラわかる SREの実践 SREチームの⽀援 SREチームの⽀援 SREチームの⽀援 Embeddedで⼊っているSRE /Platform EngineerのためのPlatformでもある 誰が為のPlatform?
23. ASTのPlatform Engineeringへの向き合い⽅ • 開発者ポータルの導⼊からは始めない。 • その前に部品を整えて⼟台を作る。 • 組織の現状を考慮して全体としてflowが⾼くなることを⽬指す • costとoutcomeのバランス（Platform Engineeringをやること⾃体を⽬的にしない） • outcomeはビジネス価値/事業価値の向上につながるか • Provisioningだけでなく運⽤まで視野に⼊れる
24. 参考にしているPlatform Engineering情報 • Team Topologies(website & 書籍) • プラットフォーム エンジニアリング ガイド(MicroSoft) • Platform Engineering Meetup • プラットフォームエンジニアリングの成熟度モデル • Platform Engineering(By Camille Fournier, Ian Nowland) https://amzn.asia/d/9e7akXD
25. ASTの取り組み • 再利⽤可能となるようにTerraformコードのリファクタリング • Terraform 構成管理 NG祭@HashiTalks Japan 2022 参照 • この際にmoduleを整備し、他プロダクトのデプロイへ利⽤できるように。 • 標準的なワークロード実⾏基盤としてのスタックを固める • オンボーディングドキュメントの整備（再利⽤時のハードルを下げる） • 頻度が⾼くハードルが低いものからセルフサービス化 • 例：各種アカウント作成 レバレッジを⾼める意識。そのための再利⽤性と標準化
26. ASTの成熟度（⼤まかな評価） https://github.com/cncf/tag-app-delivery/raw/main/platforms-maturity-model/v1/assets/platform-eng-maturity-model-v1.0.pdf
27. AST における HashiCorp Productの活⽤
28. ASTにおけるHashiCorp Productの活⽤(1) :全体像
29. ASTにおけるHashiCorp Productの活⽤(2): HCP Terraform なぜTerraformを利⽤しているか？ • IaCのデファクト • 単⼀クラウド利⽤でも、クラウドで全てが完結しない • state fileによる状態管理
30. ASTにおけるHashiCorp Productの活⽤(2): HCP Terraform • TerraformのCI/CDに対する認知負荷を全体的に下げる • state fileの管理の考慮やパイプラインの⼿組みをなくす • Terraform実⾏基盤の運⽤をなくす。 • 以下の機能も魅⼒的 • Private Module Registry • Policy制御 HCP Terraformを導⼊
31. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault • 定期的なローテーション • 最⼩権限管理 • 監査 • 暗号化 シークレット管理で必要なこと
32. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault • シークレットの⼀元管理化 • 権限に基づいたシークレットアクセスの制御 • 動的シークレット管理とローテーションの⾃動化 を実現 HashiCorp Vaultを利⽤することで‧‧‧
33. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault • HCP Terraform と HCP Vaultを組み合わせて構成 • Vault⾃体の運⽤をしたくないため、HCP Vaultを選択 • VSO(Vault Secrets Operator)を利⽤ HCP Vaultを導⼊
34. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault • VaultへのアクセスはVSOが⾏う • VSOはVaultに登録されたシークレットをKubernetesのSecretsに同期 VSO(Vault Secrets Operator)の利⽤イメージ Vault Secrets Operator Secrets Pod Pod Pod JWT Auth Method を使⽤
35. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault • AKSをPrivate Cluster化していると、Kubernetes Auth Methodは利⽤できない。 • Private DNSを解決できないため • 回避策としてはJWT認証を利⽤する 留意点：HCP VaultとAKS間のAuth Methodについて 弊社テックブログ: HCP Vault Private Clusterで弊社AKSのSecret Operator実装が⾟すぎた より
36. ASTにおけるHashiCorp Productの活⽤(3): HCP Vault HCP Vaultを直接触らないような運⽤にしている • コスト • 直接HCP Vaultへのアクセスさせるのは⽬的を考えると極⼒避けるべき • Terraformを利⽤して、シークレット管理のセルフサービス化を実現
37. 展望
38. 展望(1): Terraformへの意識を減らす • Terraformが接点にならないような仕組みを • いわゆるPlatform Engineer以外はHCLを習得することが重荷だし動機も低い • 習得を強制すると本末転倒になる • コードで会話 → フロー化 → GUIの流れで進化させる
39. 展望(2): 成熟度モデルは定期的に評価 • 基本的に右側へ移っていけることを⽬指すが、ゴール/⽬的ではない • 組織のフェーズに合わせて顧客（開発者）に必要なことを議論することが必須 https://github.com/cncf/tag-app-delivery/raw/main/platforms-maturity-model/v1/assets/platform-eng-maturity-model-v1.0.pdf
40. 展望(3): AEONグループは広い • 事業会社の数が⾮常に多いため、Platform Engineeringによるoutcomeが効きやすい • 多種多様な事業環境 • 利⽤クラウド/内製か or 外部ベンダ依存か/多くのベンダ • その状況で求められるガバナンス/セキュリティ • CCoEやPlatform Engineeringの効果に対する期待は⼤きい しかし、これを会社の⽅針としてトップダウンで進めれば解決するのだろうか？
41. 展望(3): AEONグループは広い • Platformの利⽤を強制するのは、Platform Engineeringの⽂脈でも悪⼿ • 所謂「使われない共通基盤」になる • AEONグループの⽂化とも合わない • まさに“Platform as a product”のアプローチが求められる そのため、まずは⾜元のplatformの磨き込みを継続していくことが重要
42. まとめ
43. まとめ 以下をご紹介 • ASTの状況を踏まえた、Platform Engineeringのアプローチと実践 • HashiCorp Productとの関わり • 今後の展望
44. 最後に
45. 告知
46. 募集しています！